蚂蚁金服蚂蚁集团-多模态数据算法专家-杭州
任职要求
1、本科及以上学历，计算机/软件工程/人工智能等专业背景，具有2年以上多模态大模型研发经验。 2、精通深度学习原理，熟练掌握pytorch框架，具备扎实的编程能力、优秀的架构能力；在多模态大模型、语料合成、数据自动标注等领域深入研究和实践经验。 3、出色的团队管理与沟通协调能力，能够有效推动跨团队协作，解决复杂问题； 具备强烈的责任心。 4、对新技术充满热情，具备敏锐的技术洞察力和创新意识，能够快速适应行业变化。
工作职责
1、深入理解AI多模态大模型，支撑图像、音频、视频等模态的高质量训练语料构建；包括但不限于基础语料清洗、语料标签化、语料自动评价以及推理类语料合成。 2、构建基于多模态Agent的数据闭环系统，开发面向全模态的语料处理链路，提供稳定、可靠、高效的高质量数据处理能力与语料问题分析能力。 3、跟紧业界前沿大模型技术，复现优质语料合成算法与模型技术框架，支持数据消融与模型效果分析；保障语料交付的可持续性与先进性。
在LLM重构搜索的浪潮中，数据质量决定模型智能的天花板。我们需要你构建数据与模型的「双向进化引擎」，从万亿级多模态数据中提炼认知黄金，驱动大模型突破搜索理解的终极边界！ 1. 万亿级网页提炼：研发多模态数据分析框架，通过网页解析、文档智能、知识抽取等技术，完成全网万亿级搜索网页的关键信息提炼。 2. 攻克数据质量理解：设计网页质量/权威性/可信度的多维度评估模型，以及跨模态数据表征技术，提升夸克在网页知识获取的准确性与可靠性。 3. 驱动数据与算法协同进化：探索大模型时代的数据评估方法论，量化数据优化对搜索效果和模型性能的影响。 4. 打造全网优质内容库：构建多模态数据的处理和挑选管线，建立覆盖网页/图文/视频等全域内容的智能知识库。
1. 参与前沿AI技术探索与行业级产品落地的双轨发展战略，与顶尖团队协作攻克多模态理解与生成智能体系统的技术挑战，推动多模态RAG与智能体技术的产品化落地； 2. 设计并实现融合文本、图像、语音、视频等多模态数据的检索增强生成系统，优化跨模态语义对齐与知识检索能力； 3. 设计基于多模态大模型的智能体核心算法，实现任务规划、意图识别、工具调用及多智能体协作系统。
1、研究多模态模型预训练新范式，突破多模态对齐、跨模态推理、多模态数据挖掘和合成、效果评测等关键技术难题； 2、打造行业领先的算法能力：如视频问答、音视频交互等； 3、探索视觉理解大模型与音视频交互大模型技术的深度融合路径，构建支持图像、视频、语音多模态理解的通用大模型架构和大规模训练； 4、支持音视频交互推理加速框架建设，构建完善的音视频交互大模型数据链路，探索和细化不同的音视频交互模型的评估维度、方法和指标，落地评估系统，支撑基础大模型迭代和上线； 5、关注多模态/NLP/语音等方向的前沿技术，及时将新技术应用到产品中。
1. 探索研究多模态理解、计算机视觉、自然语言处理等前沿技术； 2. 参与研发多模态、全模态大模型等下一代人工智能核心技术，探索大规模/超大规模多模态理解与生成统一的基础模型，提升大模型能力； 3. 负责跟踪和研究多模态大模型前沿技术调研、落地、对业务进行优化。