蚂蚁金服蚂蚁集团-多模态大模型算法工程师 (视觉语言方向)-杭州【AI Force】
任职要求
1.核心经验：具备丰富的多模态（视觉-语言）领域知识，有实际的图像/视频描述生成 (Image Captioning) 完整项目经验。 2.模型背景：拥有主流多模态大模型（如 LLaVA, BLIP, MiniGPT-4 等）的训练、微调或复现经验，熟悉其技术原理和实现细节。 3.技术功底：熟练掌握至少一种深度学习框架（Py…
工作职责
我们正在寻找一位充满激情的多模态算法专家，加入我们的前沿AI团队。你将专注于构建和训练先进的视觉语言大模型（Multimodal Large Models），推动技术在图像/视频内容理解与生成领域的创新。 【职位描述】 1.核心研发：负责视觉语言大模型的核心算法研发，主攻图像/视频描述生成 (Image/Video Captioning)、视觉问答 (VQA) 等关键任务。 2.模型训练：主导或深度参与多模态大模型的完整训练流程，包括数据构建、模型架构设计（如 Vision Encoder + LLM）、预训练与指令微调 (Instruction-Tuning)。 3.技术落地：负责模型性能的评估、优化与迭代，探索量化、蒸馏等技术，并推动模型在实际业务场景中的部署与应用。
1. 负责多模态大模型的构建，包括数据处理和构造、预训练和后训练算法优化，评测benchmark的构建等 2. 负责多模态大模型的下游算法及应用研究，包括图文问答、视频问答、搜索增强、统一理解和生成模型、多模态创作、多模态总结、多模态检索等； 3. 负责多模态大模型在移动端场景的算法优化和应用落地，包括视觉文本处理、UI界面理解和操作、function call等能力的提升 4. 跟进业界前沿技术，持续提升团队在多模态算法方面的技术积累。
一、团队介绍 高德视觉技术中心为高德业务提供全面的核心视觉技术，是高德时空互联网领域重要的技术驱动力。我们专注于图像识别、点云识别、三维重建和传感器融合定位等领域， 我们致力于研究和开发业内领先的感知、SLAM、重建和多模态大模型等算法， 促科技创新，与生态共进，连接真实世界，做好一张活地图，让出行和生活更美好！ 通过视觉技术中心的春季实习生项目，高校学生通过此项目可以接触到高德真实的业务场景和海量时空大数据，在优秀的前辈与高德技术人交流学习中加速成长。我们希望更多优秀的高校同学加入我们，一起打造极致的算法和产品体验。 二、基本要求 面向预期于26、27届毕业的同学，可以连续实习至少三个月的同学优先。实习地点：北京，我们将提供有竞争力的实习薪酬和充足的训练资源。 三、算法实习生 职位描述 团队主要聚焦视觉、矢量地图、多模态大模型技术，我们期待你的工作将覆盖以下至少一个技术方向： 1. 探索自动驾驶场景下的在线感知、建图、关联等前沿技术，包括但不限于矢量地图构建、矢量地图关联等； 2. 探索多模态大模型在下游任务中的技术能力，包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等；
1、深入调研多模态、计算机视觉和自然语言处理等方向的前沿技术 2、推进视觉信息语义分割与编码的研究，设计自监督学习任务，在大数据上训练较大参数规模模型； 3、探索视觉与语言的语义对齐方法，和多模态多任务联合训练
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。