蚂蚁金服【蚂蚁星-Plan A】多模态大模型研发-生成与理解统一
任职要求
1. 计算机科学、人工智能、数学等相关专业硕士及以上学历，博士优先； 2. 深入掌握Transformer/BERT/GPT等架构，有1个以上千亿参数大模型实战经验（训练/推理/优化全流程）； 3. 精通多模态技术栈：CLIP/BLIP/Flamingo等跨模态模型调优，熟悉Diffusion/Stable Diffusion等生成模型； 4. 熟练使用PyTorch/TensorFlow框架，有Megatron-DeepSpeed/FairScale等分布式训练实战经验； 5. 掌握CUDA加速、TRT-LLM推理优化、多模态数据管道构建。 加分项 1. 在ACL/CVPR/ICML等顶会以第一作者发表多模态相关论文； 2. 主导过开源多模态项目（Hugging Face模型库/GitHub星标100+）； 3. Kaggle/KDD Cup等竞赛多模态赛道Top3获奖经历。 团队文化适配： 1. 追求技术极致：能承受半年以上的长周期技术攻坚（如从头构建多模态预训练框架）； 2. 技术敏感度：既懂技术原理又关注ROI（如拒绝盲目增加模型参数量级）。
工作职责
蚂蚁集团 - 基础智能团队 我们团队主要负责蚂蚁集团的通用大模型研发工作。我们提供国内顶尖的算力资源，致力于建设基于大模型的AGI技术。我们期待同样以实现AGI为目标的您的加入，共同推动人工智能技术的发展。目前，我们正在进行： 多模态大模型研发: 研发高效的多模态预训练模型架构。探索和实现多模态融合技术，优化多模态模型的训练策略和推理效率。 1. 统一架构研发 研发多模态理解与生成一体化架构，设计统一表征模型（文本/图像/视频/语音），攻克跨模态语义对齐、动态路由、混合模态生成等关键技术 主导千亿级参数多模态模型的分布式训练优化（数据并行+流水线并行+专家混合），实现训练成本降低与性能提升 2. 端到端系统构建 构建支持多模态输入输出的实时交互系统（端到端延迟<200ms），优化推理引擎（KV Cache量化、动态批处理、显存卸载） 开发多模态自监督学习框架，实现跨模态数据自动挖掘与合成（如视频-文本弱监督对齐） 3. 技术前瞻研究 探索多模态大模型技术边界，包括但不限于：理解与生成统一、跨模态融合、多模态世界模型构建 参与制定行业技术标准，主导国际顶会论文发表（CVPR/ICML/NeurIPS）及开源项目贡献
蚂蚁集团 - 基础智能团队 我们团队主要负责蚂蚁集团的通用大模型研发工作。我们提供国内顶尖的算力资源，致力于建设基于大模型的AGI技术。我们期待同样以实现AGI为目标的您的加入，共同推动人工智能技术的发展。目前，我们正在进行： 多模态大模型研发: 研发高效的多模态预训练模型架构。探索和实现多模态融合技术，优化多模态模型的训练策略和推理效率。 1. 统一架构研发 研发多模态理解与生成一体化架构，设计统一表征模型（文本/图像/视频/语音），攻克跨模态语义对齐、动态路由、混合模态生成等关键技术 主导千亿级参数多模态模型的分布式训练优化（数据并行+流水线并行+专家混合），实现训练成本降低与性能提升 2. 端到端系统构建 构建支持多模态输入输出的实时交互系统（端到端延迟<200ms），优化推理引擎（KV Cache量化、动态批处理、显存卸载） 开发多模态自监督学习框架，实现跨模态数据自动挖掘与合成（如视频-文本弱监督对齐） 3. 技术前瞻研究 探索多模态大模型技术边界，包括但不限于：理解与生成统一、跨模态融合、多模态世界模型构建 参与制定行业技术标准，主导国际顶会论文发表（CVPR/ICML/NeurIPS）及开源项目贡献
蚂蚁集团 - 基础智能团队 我们团队主要负责蚂蚁集团的通用大模型研发工作。我们提供国内顶尖的算力资源，致力于建设基于大模型的AGI技术。我们期待同样以实现AGI为目标的您的加入，共同推动人工智能技术的发展。目前，我们正在进行： 多模态大模型研发: 研发高效的多模态预训练模型架构。探索和实现多模态融合技术，优化多模态模型的训练策略和推理效率。 1. 统一架构研发 研发多模态理解与生成一体化架构，设计统一表征模型（文本/图像/视频/语音），攻克跨模态语义对齐、动态路由、混合模态生成等关键技术 主导千亿级参数多模态模型的分布式训练优化（数据并行+流水线并行+专家混合），实现训练成本降低与性能提升 2. 端到端系统构建 构建支持多模态输入输出的实时交互系统（端到端延迟<200ms），优化推理引擎（KV Cache量化、动态批处理、显存卸载） 开发多模态自监督学习框架，实现跨模态数据自动挖掘与合成（如视频-文本弱监督对齐） 3. 技术前瞻研究 探索多模态大模型技术边界，包括但不限于：理解与生成统一、跨模态融合、多模态世界模型构建 参与制定行业技术标准，主导国际顶会论文发表（CVPR/ICML/NeurIPS）及开源项目贡献
蚂蚁国际全球技术AI智能部正在寻找有激情并且具有创新能力的算法专家，通过使用AI 特别是生成式人工智能技术，推动蚂蚁国际化业务的发展。蚂蚁集团是一家AI驱动的公司，国际化是蚂蚁集团的重点方向，在这个职位上，你有机会接触到互联网金融，人工智能，国际化这3个当前最热门领域。 国际AI智能部负责大模型算法的创新应用与落地，同时也负责蚂蚁国际的 AI 基础设施和应用平台的建设。我们正在寻找热爱大模型的优秀人才加入我们。 其中，金融 AI 与大模型应用平台团队负责蚂蚁国际的金融 AI 业务，如基于大模型的金融助理在海外钱包的落地，以及蚂蚁国际的 AI 平台与基础设施建设，通过更加高效的训练和推理能力，以及结合 Agent 的平台研发助力蚂蚁国际全面拥抱生成式人工智能达成 AI 为先的战略。 1.负责大模型技术前沿技术跟踪、创新和落地。负责文本以及多模态大模型算法研发，对图片语音文本进行跨模型理解和生成。通过大模型算法创新和优化，致力提升大模型算法的场景落地和业务增效； 2.负责研发知识增强大语言模型技术，包括大模型领域适配、知识对齐、知识增强等，深入挖掘垂直行业、开源以及蚂蚁的海量数据，构建行业知识库，以支持相关技术的蚂蚁国际各个业务中的持续创新和实践应用； 3.负责垂直领域大模型算法开发，通过持续预训练和多任务模型微调，提升垂直大模型的核心技术价值和平台化落地； 4.深度参与产品研发项目，与团队成员合作，共同推动人工智能技术在实际业务中的应用和落地； 5.深入跟踪调研大语言模型以及相关方向（包括但不限于LLM/多模态等）的前沿技术，并适时进行技术分享。推动相关领域技术创新，进行专利申请和学术文章发表。
AI的快速发展正在引领信息获取和知识搜索模式的革命性变化。各类智能信息助手正在迅速迭代，逐步向基于大语言模型的自然语言交互式知识获取方式转型。我们团队工作范围包括支付宝搜索、全网搜索、搜索智能体、大模型后训练及应用等。致力于应用前沿的人工智能技术，结合蚂蚁的生态特色，提升用户获取信息的效率和准确性，探索信息获取体验的新边界。 1. 参与和负责AI搜索场景下的核心搜索算法研发，持续提升Query理解、多模态理解、召回排序、RAG生成、智能体规划等环节的效果； 2. 支持多元业务需求的快速迭代，始终以优化用户体验与提升业务价值为目标； 3. 关注AI搜索技术前沿进展和业界先进应用，不断探索，持续创新突破核心技术。