阿里巴巴晓天衡宇-大模型评测工程师-Agent评测专家
任职要求
1.熟悉Agent架构(ReAct、Plan-and-Execute、Tool-use 范式等）及其评测方法
2.了解AgentBench、ToolBench、WebArena、OS…工作职责
角色定位：负责Agent方向评测集的设计与构建，覆盖工具调用、多步推理、环境交互、计划与执行等能力维度。 核心职责： 1.设计 Agent评测任务体系，覆盖单工具调用、多工具编排、长链路任务执行、异常恢复等场景 2.构建模拟环境与工具集(Mock API、沙箱文件系统、模拟数据库等），支持可控的评测执行 3.定义Agent评测的评判维度（任务完成率、步骤效率、工具调用准确率、推理链质量等） 4.设计需要规划能力的复合任务（如”调研某主题→整理报告→发送邮件”类端到端场景）
1. 负责大模型的高质量的数据构造及模型评测工作，主要聚焦在通用模型能力（创作、指令遵循、角色体验）等各垂域（医疗、法律、金融等）数据任务，与算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 统筹各领域核心知识点分类框架、回答思维模式、推理问答、权威教材教研资料、前沿科研论文专著等关键要素。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准。定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集； 4. 构建并维护一套完善的各领域AI数据内容质量管理体系，积极推动组织流程及交付流程优化，全面把控内容质量并对结果负责，并不断进行优化迭代； 5. 开展LLM及各垂域大模型及应用的评测建设，能够从各领域专业层面设计专业评测方案、开展专业的评测服务； 6.承担本方向数据处理、数据清洗、数据蒸馏、数据合成等多样数据工程工作。
1. 负责AI原生应用的数据构造及应用评测工作，主要聚焦在用户体验，端到端效果评测提升，与产品及算法团队密切合作，理解算法需求，提供满足算法研发需求的数据； 2. 设计和实现各领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目； 3. 统筹ai应用各领域评测方案及数据生产方案。依据多元数据集设计需求与应用场景，为数据集标准环节制定详实、完备且极具可操作性的标准。定期对数据集开展阶段性质量检测，持续迭代体系化标注标准，助力打造行业标杆级数据集。 4. 构建并维护一套完善的各领域AI数据内容质量管理体系，积极推动组织流程及交付流程优化，全面把控内容质量并对结果负责，并不断进行优化迭代；
1. 搭建高保真具身操作仿真场景：厨房台面、工业装配线、仓储货架等，包含家具、工具、操作对象等交互元素 2. 为3D资产赋予准确的物理属性：质量分布、碰撞网格（凸分解）、摩擦系数、关节约束、柔性体材质参数 3. 构建可复用的参数化场景模板，支持Domain Randomization中场景变体（物体布局、资产替换、光照变化）的自动生成 4. 维护仿真资产库规范：USD/URDF/SDF资产版本管理，渲染网格与碰撞网格分离，PBR材质一致性校验 5. 配合仿真开发工程师，为需要特殊物理逻辑的资产（可切割物体、可破碎结构等）准备配套的资产格式与物理描述文件
1. 建立仿真精度评测体系：设计标准化测试用例（抓取成功率、放置精度、力控轨迹偏差、接触力分布），量化Sim-Real Gap 2.开发自动化评测工具链：在仿真与真机上运行相同任务流水线，对比关键指标（成功率、轨迹相似度DTW、力矩相关性、分布距离MMD/KL） 3.维护Benchmark任务集：覆盖抓取、放置、灵巧操作、力控装配等典型具身操作任务，支持持续回归测试 4.分析Domain Randomization策略的有效性：评估不同随机化组合对Sim2Real迁移成功率的影响，指导随机化参数空间的收敛 5. 输出周期性评测报告，指导物理参数调优方向、场景改进优先级和数据采集策略调整