蚂蚁金服蚂蚁集团-大模型评测工程师-平台架构

1.负责以大模型为代表的AI技术能力的建设和优化，打造业界领先的AI技术系统。主要职责包括AI系统结构设计，大模型训练数据构建，大模型能力评测，大模型推理效果和效率优化等； 2.紧密跟踪、探索大模型方向前沿技术，依托丰富且体系化的业务生态，实践大模型等AI技术创新应用与落地。

1、负责大模型相关的评测和标注平台研发，协同产品、QA、算法做好模型评测相关的工作； 2、参与模型评测方案的制定和评测数据集建设，搭建自动化的评测链路； 3、建设高效率、易使用的平台，不断优化系统架构，支撑业务规模增长，保障业务稳定。

1、参与大模型数据平台架构设计与开发，为大模型数据资产建设管理提供平台支持，支持数据资产上架、知识生产、检索、训练应用等；数据用途上包含预训练数据、微调数据、评测数据等，数据模态上包含文本、图片、视频、音频等各类模态数据。 2、参与高可用、可扩展、分布式大模型评测平台架构设计与开发，支持多模型、多方法、多评测集的评测任务执行、评测结果分析，优化评测框架，提升评测效率，支持实现大模型快速迭代的评测要求。 3、在通用BenchMark基础上构建业务领域Benchmark，围绕“语料供给-模型迭代-模型评测”的链路不断优化链路，提升生产效率。 4、持续的创新和优化能力，提升产品整体质量，改善用户体验。

负责美团基础大模型评测框架和周边生态的开发、维护和能力拓展。 支持文本、多模态、Agent、应用等多个方向的评测框架和平台开发工作。 协同支持整个大模型平台从数据到训练到评测的基础架构标准化建设。 协同开源评测社区建设，打造业界一流的评测框架体系。