阿里巴巴阿里控股-大模型评测工程师-code/agentic方向

1. 从模型迭代目标出发，设计覆盖全面、层次清晰的评测体系；明确各维度评测的考核重点和难度梯度。 2. 自主构建高质量评测数据集，包括题目设计、标准答案制定、评测逻辑实现；确保题目区分度、公平性和防污染性。 3. 基于Benchmark结果，为模型团队提供清晰的能力雷达图、短板分析和优化优先级建议。 4. 探索更科学的评测指标、更高效的评测方法。

1. 承接大模型在法律方向的数据生产，具备丰富的标注评测团队管理经验，从数据交付提升模型性能。 2. 开展模型在法律专业能力评测建设，设计大模型法律知识体系构建与评测评测方案，并带领专家开展专业的评测服务 3. 建设法律评测维度、指标体系、业务评测集并开展深入的评测分析工作。产出评测报告，学术benchmark等有影响力的创新工作

1. 负责大模型的高质量的数据构造工作，主要在code、Agentic等垂域数据任务 2. 大规模数据解析、清洗、去重，以及数据生成/合成等工作，覆盖GitHub、代码镜像、内部代码库等。 3. 设计并实现面向 Agent 轨迹采集的沙盒环境，支持工具调用（Function Call）、多步规划、环境交互等行为记录。 4. 构建 Agentic 任务的数据标注规范和质量评估框架，包括轨迹合法性校验、奖励建模所需的偏好数据构造

1.基于模型内部评测和错误案例，系统性分析模型能力边界和短板；建立能力拆解框架（如代码生成可拆分为理解、规划、实现、调试等子能力） 2.主导高质量数据的获取、清洗、增强和验证；探索先进的数据合成技术（如基于强模型的蒸馏、多智能体协作生成）。 3.设计小规模实验验证数据有效性，建立数据-效果关联分析机制，量化数据投入产出比。