阿里巴巴研究型实习生-基于多模态大模型的商品动效和视频生成
任职要求
算法原型：完成文本-视频数据集构建，以及文本到视频关键帧生成模型的算法设计，交付一套视频关键帧生成算法的源代码 论文：发表阿里认可的CCF-A类或者领域内顶级会议、期刊论文1~2篇 技术指标： 1、文本-视频数据集质量与数量：对文本属性语义有清晰定义，形成高效的文本与视频数据对对齐与挖掘方法，构建1000万量级数据集； 2、视频生成质量：视频生成模型在公开测试集上的FID、FVD、IS等评价指标达到业界SOTA，在电商场景中的生成结果审核通过率达到30%以上； 3、视频生成可控性与稳定性：通过修改文案个别属性描述，实现视频对应语义的准确变化，文案与视频联动变化的成功率达到70%以上，生成视频在时间上的画面稳定合格率高于60%；
工作职责
希望解决如下技术问题。 1、适用于商品视频生成的文本-视频数据集：构建一个能够支持基于多模态大模型的商品视频生成算法训练和优化的文本-视频数据集 2. 基于多模态大模型的商品视频生成系统：通过探索基于多模态大模型的文本到视频生成技术，以“视频关键帧-高帧率视频-高分辨率视频”为基本路径，完成文本到视频关键帧生成模型、视频插帧模型、视频超分辨率生成模型等核心算法模型，构建视频生成系统，实现输入商品描述文本+商品图片，自动生成原生化的商品微视频和商品短视频。
研究领域： 人工智能 项目简介： 近年来，大语言模型和多模态大模型的迅速发展解锁了众多应用场景，包括视觉指令跟随和长视频理解，最近的一些开源方法也已经在提升流式视频处理能力方面有所进展，但它们在交互流畅性和感知能力方面仍然存在不足。本项目旨在对流式视频理解和交互方向加大投入，在多模态大模型视觉内容理解、动态变化跟踪和精确时间对齐等方面进行算法创新，并尝试挖掘其对视频交互中风险动作和风险对话的识别能力，为依赖视频交互能力的各业务场景带来新的突破。
研究领域： 人工智能 项目简介： 随着多模态大模型的性能持续提升，用户指令的意图理解、路径规划、慢思考决策、精细化执行等方向近期均取得了长足的进步，使得Phone-Use从RPA时代进入智能时代。本项目重点研究Intelligent Phone/Computer Use Agent，从底层领域基座、到上层应用，打造Agent Native Model和AI Native的Agent产品，为业务场景带来新的突破。
专注于多模态大模型与人机交互技术的创新研究及实践，具体职责包括： 1、探索多模态大模型（文本/图像/语音/视频等）的交互式应用场景，研发新型人机交互范式； 2、针对多模态交互复杂任务推理进行探索及研究，提升多模态、多跳推理场景下的复杂任务完成率； 3、优化多模态数据的融合算法，提升模型对复杂交互场景的理解与响应能力； 4、构建高效的多模态交互系统模型架构，研究低延迟、高并发的实时交互技术方案。
GPT、通义千问等大模型的出现，使自主代理（Autonomous Agent）这一类新的AI应用开始兴起。自主代理旨在将人类用户从琐碎的微观决策、细粒度的任务执行中解放出来，使人类用户只需关注宏观层面的决策。这类AI应用在接收到人类给出的笼统任务描述、原始输入数据后，会尝试自动化地进行任务拆解、一步步地完成一系列拆解后的任务、并根据任务反馈结果实时调整策略或做出响应 尽管当前通义千问可在一定程度上充当自主代理，但在模态的覆盖度、垂直领域的专业性、与人的交互方面还有所欠缺，因此需要投入一定的研发力量优化这方面的效果