蚂蚁金服蚂蚁集团-大模型评测技术专家/高级专家-北京/杭州

工作描述

任职要求
1. 对大模型能力有独立判断，能发现现有 Benchmark 尚未衡量的重要能力，识别评测何时失效，并提出有价值的新任务与研究方向；
2. 有从问题定义到落地验证的完整研究或工程成果。主导过 Benchmark、评测方法或框架建设，能说明解决了什么问题、为何这样设计，以及成果如何被实际使用；
3. 对测量质量有严格要求，具备扎实的统计与实验设计能力，能通过对照实验、重复采样和置信区间等方法，区分真实能力变化与评测噪声，并说明结论的适用范围；
4. 亲自开发或改进过评分方法，例如为代码修复任务编写测试程序，或为问答任务设计评分细则与模型裁判（LLM-as-a-Judge）；能提供通过人工复核发现并修正误判的具体案例；
5. 具备扎实的 Python 编程与调试能力，能亲自搭建实验、修改评测框架，并深入原始模型输出或 Agent 执行轨迹定位失败原因；在推理、代码、Agent、多模态或专业领域评测中，至少有一个方向的深入实践。

加分项
1.…