蚂蚁金服研究型实习生-基于大模型动静态结合分析的API安全研究

希望解决如下技术问题。 1、适用于商品视频生成的文本-视频数据集：构建一个能够支持基于多模态大模型的商品视频生成算法训练和优化的文本-视频数据集 2. 基于多模态大模型的商品视频生成系统：通过探索基于多模态大模型的文本到视频生成技术，以“视频关键帧-高帧率视频-高分辨率视频”为基本路径，完成文本到视频关键帧生成模型、视频插帧模型、视频超分辨率生成模型等核心算法模型，构建视频生成系统，实现输入商品描述文本+商品图片，自动生成原生化的商品微视频和商品短视频。

业务丰富，技术领先 高德打车算法团队深度赋能打车业务全链路，涵盖 用户增长、风控、服务管控、路线与上下车点推荐、ETA 预估、智能客服 等核心场景。多样化的业务挑战为算法创新提供了广阔的发挥空间，团队已在 AI 顶级会议发表成果。 精英阵容，国际视野 团队成员来自泰晤士世界大学排名 Top 10 的高校，以及美国常青藤、清华、北大等顶尖院校，兼具国际化背景与一流技术视野。 持续成长，共享共进 团队每周固定进行技术分享，氛围开放、互助友好；除了解答算法与工程难题，资深同事还会分享项目经验，并传授业务理解与问题解决的方法论，助你快速成长。 高德打车算法团队致力于用前沿AI技术重塑每一次打车体验。我们不是在做“推荐路线”，而是在理解用户为什么这样出行——他们偏爱哪条路？为何总在某个路口取消订单？哪些投诉背后藏着未被听见的需求？ 我们正在寻找对用户行为洞察和大模型落地充满热情的实习生，与我们一起，用AI读懂出行的“潜台词”，让平台更懂你。 在这里，你将： • 构建用户出行偏好画像 基于海量行程数据，利用大模型（LLM）挖掘用户在路线选择、上下车点偏好、出行时段等方面的隐性行为模式，构建个性化出行画像，驱动个性化推荐与服务预判。 • 挖掘路线与上下车点的“隐藏特性” 分析亿级路线片段与上下车点的时空特征，通过大模型语义理解与多源信息融合，提炼可量化、可解释的“路段 / POI 质量标签”，优化点线相关推荐服务的质量。 • 提升投诉反馈的智能响应与信息透出能力 构建基于大模型的客诉理解与归因系统，自动识别投诉核心诉求（如“绕路”“司机态度”“等太久”），关联具体路线/上下车点/时段，生成结构化反馈报告，推动产品优化与客服话术升级，实现“从听抱怨到改体验”的闭环。 • 推动大模型技术在真实场景中的闭环落地 应用RAG、SFT、DPO、AI Agent等技术，构建可解释、可追踪、可迭代的智能系统，让模型不只是“跑得准”，更能“说得清、改得动、用得好”。 你的工作将直接服务全国数亿用户，每一次模型优化，都可能让一位用户少等5分钟、多一份安心、少一次投诉。你不是在写代码，你是在重塑人与出行之间的信任关系。

1. 跟进多模态大模型（vLLM）预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下, CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5.多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。

多模态大模型与推荐系统的结合应用是当前业界前沿的研究方向，旨在通过结合多模态大模型和用户行为数据来提升推荐系统的性能。阿里云人工智能平台（PAI）团队正致力于这一领域的探索与实践，以解决跨场景推荐、冷启动等问题，提高推荐模型在行为数据稀疏场景下的表现。我们的研究和开发方向包括但不限于： 1. 多模态大模型与行为数据的融合：研究多模态大模型（如图像、文本等）与用户行为数据结合的微调训练方法，探索最佳的数据融合策略。 2. 特征对齐：探索新的建模方式，实现多模态特征与用户行为特征之间的对齐，确保模型能够充分利用多种类型的数据提升推荐效果。 3. 推荐模型的优化：在现有推荐模型的基础上，引入多模态特征，优化推荐算法，特别是在冷启动和跨场景推荐等挑战性场景下，提升推荐效果。