蚂蚁金服蚂蚁集团-蚂蚁技术研究院-LLM系统研究员

我们团队将致力于探索新型LLM架构的训练与推理加速技术，推动模型结构与算法层面的创新，全面提升LLM的效率与性能。 1. 研发Diffusion LLM的高效训练与推理框架，实现其推理性能1000倍的提升，突破现有扩散模型在语言生成中的效率瓶颈 2. 和LLM算法研究员合作，通过算法和系统的co-design，加速现有LLM的训练和推理 3. 针对新型LLM优化关键算子与分布式并行计算策略，显著降低其训练与推理成本 4. 开发面向LLM算子与并行计算的自动化优化框架，为算法研究人员提供一站式的自动优化解决方案，显著提升模型结构的开发效率与系统性能。

1.加速LLM新模型架构里的算子和计算图； 2.加速LLM的分布式训练和推理； 3.设计新的算法和框架自动化优化LLM算子，计算图和分布式计算。

1. 构建百亿-千亿级参数大模型的工业化数据管道原型系统，主导预训练数据（多语言/多模态）的数据质量治理体系设计，开发数据去噪、清洗、打标、去偏和毒性检测算法 2. 构建大模型多维度评估体系：开发面向领域任务的细粒度评估框架，设计红蓝军对抗性测试集，在细粒度层面建立能力-数据关联分析模型 3. 构建大模型Agent应用场景的交互数据闭环系统，开发自动化数据标注、推理轨迹数据监督和治理、幻觉检测和消除等技术模块 4. 研究预训练和后训练的数据智能新架构、新流程和新算法，包括但不限于小样本数据蒸馏、课程学习策略优化、数据价值量化评估等，并实现先进方法的工程化落地 5. 研究基于LLM的合成数据生成框架，探索多模态数据合成（代码/数学推理/跨模态对齐）方法，探索多模态思维链合成增强、对抗性和合作性数据增强等技术路线

1. 结合知识图谱和LLM，构建一个AI系统解决现实世界里的复杂问题（如生成机器学习算法，数据分析，生成代码等等）； 2. 近期的研究方向包括并不限于： （1） 用于复杂问题求解的知识增强型大语言模型 （2）图基础模型 （3）基于代码图的代码生成 （4）用符号推理增强LLM的推理 3. 开展与其它相关领域/学科结合的交叉研究，拓宽知识图谱和LLM的应用范围； 4. 将相应成果以论文形式发表到顶尖学术会议/期刊，并与研发团队协作落地到实际场景