阿里巴巴数据技术及产品部-大模型评测集工程师-杭州/北京
任职要求
1. 扎实的计算机基础，熟悉 Linux 系统管理、容器技术及编排工具。 2. 熟练掌握 Python，具备良好的工程编码习惯，了解至少一种其他编程语言。 3. 对大模型推理服务的调用链路有实际经验，了解 OpenAI API 兼容协议、流式输出处理等。 4. 了解主流 LLM 评测方法论与常见评测集的设计思路，有实际跑通过至少一个代码或 Agent 评测集的经验优先。 5.…
工作职责
负责大模型评测体系的工程建设与日常运维，搭建高效、稳定、可复现的评测运行环境。具体包括： 1. 接入并适配主流开源评测集，完成数据解析、沙箱搭建及评分逻辑对齐。 2. 针对代码及Agentic类评测集，构建安全可控的代码执行环境，包括定制容器化沙箱、资源隔离、超时控制等，保障多语言代码编译与运行的正确性和安全性。定制端到端的 Agent 运行环境，包括模拟交互界面、文件系统、终端、浏览器等依赖组件，确保 Agent 能在真实或仿真场景中完成多步骤任务。 3. 接入和适配 Agent 评测框架，实现评测流程的标准化和自动化调度。 4. 接入 MCP 工具层，为评测中的模型调用提供标准化的工具接口，支持工具注册、调用链路追踪和结果校验。 5. 维护评测基础设施的可观测性，建设评测结果的存储、对比与可视化看板，支撑研究团队的快速迭代需求。
1. 标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐; 2. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性; 3. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率; 4. 探索更科学的评测指标、更高效的评测方法。
1.评测集自动构建技术：研究跨模态通用的评测集自动生成方法，构建不同模态（文本/图像/视频/音频/3D 等）评测集生产框架；研究动态评测集与抗污染技术，解决各模态静态评测集被"刷榜"后失效的通用问题；探索面向模型弱点的定向探测数据生成，通过错误模式分析自动生成针对性测试样本。 2.自动裁判技术：构建多模态通用的自动评判算法框架，统一支撑文本质量评判、生成内容质量评估、交互过程评估等不同评判范式，设计可插拔的评判策略组件；研究LLM as a judge及Agent as a judge，支撑 Agent 轨迹的中间步骤质量评估、推理链路正确性验证、世界模型的时序物理一致性检验等既需要结果评分也需要过程评分的评判场景。 3.Agent评测技术：设计Coding Agentic应用的端到端评估算法，包括多轮对话质量建模、用户意图满足度预测、任务完成率估计等；研究评测信号与用户真实体验的对齐技术，通过线上行为数据反标定离线评测指标的有效性，构建离线评测可预测线上表现的校准模型。
1.开展音频模型能力评测建设，基于评测的错误类型、分布，能针对性构建音频数据，提高模型特定表现，并能够通过对数据有效性的评测，验证数据有效性； 2.建设AI音频应用业务评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作。
1.承接多模态大模型的数据生产，如图片/视频/音乐的生成及理解模型数据，具备丰富的标注评测团队管理经验，从数据交付提升模型性能 2.开展多模态能力评测建设，能够从图片/视频/音乐专业层面设计专业评测方案，并带领专家开展专业的评测服务 3.建设多模态评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作