阿里巴巴晓天衡宇-大模型评测开发工程师-Eva+评测平台
任职要求
1. 计算机相关专业，本科及以上学历，3年以上相关工作经验。 2. 具备python/java开发能力，熟悉JSON、YAML等数据格式，熟悉Linux开发环境，能够使用Shell脚本进行自动化任务。 3. 有AI应用/服务端应用开发经验，了解Agent的评估指标…
工作职责
1. 评测框架和平台开发：构建面向代码生成、电商、Data Agent、多模态生成（图文/视频）等多领域的评测能力，参与Agent评测平台能力建设，建设灵活、稳定、高效的评测框架。 2. 评测构建与任务执行：深入理解业界主流的AI/Agent评测集，负责将其数据结构、评测逻辑和评估指标精准适配到平台评测框架上，解决适配过程中面临的问题。负责大规模评测任务的部署、执行与监控，确保评测过程的稳定性和评测分数的准确性，为评测集方案专业性负责。 3. 结果分析与报告：对评测结果进行初步的数据清洗和格式化，为算法团队提供清晰、可靠的性能和trajectory数据报告，并能定位因适配问题导致的指标异常。 4. 评测任务Agent开发：利用Harness Engineering构建评测任务Agent，提升评测任务接入效率。
1. 负责大模型的高质量的数据构造及模型评测工作，主要聚焦在通用模型能力（创作、指令遵循、角色体验）等各垂域（医疗、法律、金融等）数据任务，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准。定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集； 4. 构建并维护一套完善的各领域AI数据内容质量管理体系，积极推动组织流程及交付流程优化，全面把控内容质量并对结果负责，并不断进行优化迭代； 5. 开展LLM及各垂域大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务； 6.承担本方向数据处理、数据清洗、数据蒸馏、数据合成等多样数据工程工作。
1. 负责AI原生应用的数据构造及应用评测工作，主要聚焦在用户体验，端到端效果评测提升，与产品及算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 统筹ai应用各领域评测方案及数据生产方案。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准。定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集。 4. 构建并维护一套完善的各领域AI数据内容质量管理体系，积极推动组织流程及交付流程优化，全面把控内容质量并对结果负责，并不断进行优化迭代；
角色定位：负责Agent方向评测集的设计与构建，覆盖工具调用、多步推理、环境交互、计划与执行等能力维度。 核心职责： 1.设计 Agent评测任务体系，覆盖单工具调用、多工具编排、长链路任务执行、异常恢复等场景 2.构建模拟环境与工具集(Mock API、沙箱文件系统、模拟数据库等），支持可控的评测执行 3.定义Agent评测的评判维度（任务完成率、步骤效率、工具调用准确率、推理链质量等） 4.设计需要规划能力的复合任务（如”调研某主题→整理报告→发送邮件”类端到端场景）
1. 搭建高保真具身操作仿真场景：厨房台面、工业装配线、仓储货架等，包含家具、工具、操作对象等交互元素 2. 为3D资产赋予准确的物理属性：质量分布、碰撞网格（凸分解）、摩擦系数、关节约束、柔性体材质参数 3. 构建可复用的参数化场景模板，支持Domain Randomization中场景变体（物体布局、资产替换、光照变化）的自动生成 4. 维护仿真资产库规范：USD/URDF/SDF资产版本管理，渲染网格与碰撞网格分离，PBR材质一致性校验 5. 配合仿真开发工程师，为需要特殊物理逻辑的资产（可切割物体、可破碎结构等）准备配套的资产格式与物理描述文件