蚂蚁金服研究型实习生-多模态大模型在商品领域的优化与应用研究
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作
工作职责
研究领域： 深度学习 项目简介： 在商品领域风险/质量防控、信息抽取、素材优化、营销文案生成和人货匹配推荐等多个场景都依赖对商品的认知，传统的方法需要运营人工定义标签体系并收集大量的标注数据，多模态大模型可以在较少的人力投入和标注成本下实现更好的商品理解和生成，有很大的应用前景。
希望解决如下技术问题。 1、适用于商品视频生成的文本-视频数据集：构建一个能够支持基于多模态大模型的商品视频生成算法训练和优化的文本-视频数据集 2. 基于多模态大模型的商品视频生成系统：通过探索基于多模态大模型的文本到视频生成技术，以“视频关键帧-高帧率视频-高分辨率视频”为基本路径，完成文本到视频关键帧生成模型、视频插帧模型、视频超分辨率生成模型等核心算法模型，构建视频生成系统，实现输入商品描述文本+商品图片，自动生成原生化的商品微视频和商品短视频。
我们是阿里妈妈搜索广告算法团队，负责淘宝搜索场景广告技术变现的算法设计和优化，包括并不限于： 1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速； 6. 负责研究经典CV/多模态任务的设计和优化，包括分类、检测、OCR、度量学习等。
1. 负责商品搜索相关的计算机视觉算法创新和研发，特别是大规模图像/多模态算法； 2. 服务于拍立淘图搜核心业务的视觉算法技术方向，包括商品多模态理解、图像理解、图像/多模态大模型应用； 3. 致力于为淘天大搜索核心业务打造行业领先的计算机视觉创新技术。
1. 掌握和跟进LLM、MLLM、多模态基座等前沿技术的发展动态； 2. 结合业务需求，深入研究多模态意图定位技术，比如visual/text意图实现商品/卖点信息定位，赋能业务内容/商品理解； 3. 结合业务需求，结合最新的大模型技术，探索更强的多模态语义表征，构建更强检索能力； 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。