蚂蚁金服模型基准和评估

工作描述

任职要求
1. 计算机、数学、统计学等相关专业背景，不设硬性学历门槛；
2. 具备扎实的 Python 编程能力，有独立完成工程项目的经验；
3. 有大模型评测、Agent、数据合成、自动化评估相关项目或实习经历者优先；
4. 评测工程能力：
● 熟悉评测集、指标体系、Rubric 设计及自动化评测流程，有评测平台、数据流水线或实验系统建设经验；
● 熟悉 LLM-as-a-Judge、规则评测、人工评审、离线评测与在线指标联动等常见评估方法，能够独立完成评测方案设计、实验执行与结论输出；
● 理解可复现、可对比、标准化评估体系的建设方法，有 benchmark 建设或维护经验者优先。
5. 模型与任务理解能力：
● 理解 Transformer 与主流 LLM 的基本原理，了解后训练、RAG、Memory、Tool Use、Agent 等典型能力形态；
● 能够围绕复杂任务设计合理评测方法，将评测结果转化为训练、系统或应用优化建议，推动效果闭环落地；
● 有大模型评测、Agent、数据合成、自动化评估或相关研究/项目经历者优先专业能力。
6. 数据与分析能力。具备扎实的数据分析、实…