蚂蚁金服蚂蚁集团-大模型系统工程师-平台架构

1.负责大模型基座或智能体评测方法、评测Benchmark、评测平台的建设； 2.使用统计、机器学习技术来分析模型输出，识别模式和潜在问题，编写技术报告，总结评测结果和提出改进建议； 3.跟踪最新的AI评测技术和工具，并将其集成到我们的评测流程中； 4.与算法专家和工程师团队合作，了解模型的功能和限制；紧跟业务，确保评测结果能够指导产品迭代和优化。

1.负责多模态大模型GPU/CPU上训练和推理平台的开发和维护，提升平台整体的运行效率和稳定性； 2.参与多模态大模型的整体系统架构设计，包括数据流、计算图、分布式训练与推理框架； 3.负责大模型的业务探索，与相关团队紧密配合，将多模态模型落地到具体业务场景,提升业务收益。

1.负责公司AI平台架构设计，包括但不限于改善训练及推理效率、超大规模训练、智算平台等； 2.负责设计、研发大模型算法开发组件，包括但不限于微调软件框架、模型流水线等； 3.规划AI平台技术发展方向，跟进业界前沿技术，实现面向端到端大模型系统的极致性能优化。

团队介绍：团队负责抖音集团内容审核、内容理解等方向的架构支持工作，业务范围覆盖抖音、今日头条、剪映等多个重要业务线，工作内容涵盖特征计算编排、大模型推理/训练框架、RAG等大模型应用、GPU/CPU资源治理、数据平台等系统建设及优化，与算法团队一起推进大模型在业务场景的应用落地，解决大模型应用过程中的各种工程挑战。 1、负责大模型推理系统架构设计及优化，密切配合算法部门，持续优化大模型研发和部署效率； 2、负责跟踪探索多种大模型推理技术，包括量化、蒸馏、TRT-LLM&vLLM、Kernel优化等理论研究和实践开发，极致提升推理性能； 3、负责GPU资源管理和治理，提升GPU资源使用效率。