蚂蚁金服蚂蚁集团-蚂蚁技术研究院-LLM系统工程师
任职要求
1. 硕士以上学历 2. 具有至少 3 年以上的AI系统/分布式并行计算领域开发经验； 3. 熟悉 Transformer/MoE 等大模型结构、大模型训练/推理系统, 熟悉 sglang、vllm、megatron 等训推框架和大规模训推优化； 4. 较强的团队沟通和学习能力，较强的编程能力
工作职责
我们团队将致力于探索新型LLM架构的训练与推理加速技术，推动模型结构与算法层面的创新，全面提升LLM的效率与性能。 1. 研发Diffusion LLM的高效训练与推理框架，实现其推理性能1000倍的提升，突破现有扩散模型在语言生成中的效率瓶颈 2. 和LLM算法研究员合作，通过算法和系统的co-design，加速现有LLM的训练和推理 3. 针对新型LLM优化关键算子与分布式并行计算策略，显著降低其训练与推理成本 4. 开发面向LLM算子与并行计算的自动化优化框架，为算法研究人员提供一站式的自动优化解决方案，显著提升模型结构的开发效率与系统性能。
1. 提升智能体（模型）在基础智能、专业生产力、自我演进、协同组织等不通维度的智能 2. 搭建基于多智能体的技术产品，实现分布式智能体部署和训练框架，参与开源社区建设 3. 框架和模型配合产品，满足用户真实需求，设计并实现多智能体协作系统
1. 构建百亿-千亿级参数大模型的工业化数据管道原型系统，主导预训练数据（多语言/多模态）的数据质量治理体系设计，开发数据去噪、清洗、打标、去偏和毒性检测算法 2. 构建大模型多维度评估体系：开发面向领域任务的细粒度评估框架，设计红蓝军对抗性测试集，在细粒度层面建立能力-数据关联分析模型 3. 构建大模型Agent应用场景的交互数据闭环系统，开发自动化数据标注、推理轨迹数据监督和治理、幻觉检测和消除等技术模块 4. 研究预训练和后训练的数据智能新架构、新流程和新算法，包括但不限于小样本数据蒸馏、课程学习策略优化、数据价值量化评估等，并实现先进方法的工程化落地 5. 研究基于LLM的合成数据生成框架，探索多模态数据合成（代码/数学推理/跨模态对齐）方法，探索多模态思维链合成增强、对抗性和合作性数据增强等技术路线
"我们团队将致力于探索新型LLM架构的训练与推理加速技术，推动模型结构与算法层面的创新，全面提升LLM的效率与性能。 1. 研发Diffusion LLM的高效训练与推理框架，实现其推理性能1000倍的提升，突破现有扩散模型在语言生成中的效率瓶颈 2. 和LLM算法研究员合作，通过算法和系统的co-design，加速现有LLM的训练和推理 3. 针对新型LLM优化关键算子与分布式并行计算策略，显著降低其训练与推理成本 4. 开发面向LLM算子与并行计算的自动化优化框架，为算法研究人员提供一站式的自动优化解决方案，显著提升模型结构的开发效率与系统性能。"
1. 结合知识图谱和LLM，构建一个AI系统解决现实世界里的复杂问题（如生成机器学习算法，数据分析，生成代码等等）； 2. 近期的研究方向包括并不限于： （1） 用于复杂问题求解的知识增强型大语言模型 （2）图基础模型 （3）基于代码图的代码生成 （4）用符号推理增强LLM的推理 3. 开展与其它相关领域/学科结合的交叉研究，拓宽知识图谱和LLM的应用范围； 4. 将相应成果以论文形式发表到顶尖学术会议/期刊，并与研发团队协作落地到实际场景