阿里巴巴AI Data-RL Data工程师-Work
任职要求
1. 领域深度：在至少一个专业领域有系统性认知，能基于专业判断对 Agent 输出做准确的对错裁定，而不仅凭"看起来合理"；同时具备跨领域快速上手的能力。 2. RL/RFT 数据 sense：熟悉 RFT 和 RL 对数据质量的要求，理解 reasoning 字段在 SFT / RFT / RL 各阶段的作用差异，能筛选与构建高质量的训练数据。 3. Taxonomy 与 instance 设计能力：能独立完成从领域拆解 → 任务类型定义 → instance 模板设计 → 种子来源确定的完整链路。 4. Rubric 设计能力：熟悉主流 rubric 设计范式，能大批量生成高质量 rubric，并把主观评价拆解为可校验的子问题。 5. 轨迹级标注与归因能力：能判断多步执行的完整性、正确性、思维…
工作职责
我们正在从 0 到 1 搭建 Work（AI 协同办公）方向的 RL/RFT 训练数据体系，覆盖多个专业领域。端到端负责一个（或多个）领域的数据集从任务定义、instance 构造、reasoning 生成到分层验证的全链路，是模型训练飞轮里承上启下的关键位置。 1. 领域任务体系搭建（Taxonomy 设计） 对陌生专业领域做结构化拆解：一级领域 → 二级场景 → 任务类型 → instance 模板，产出可复用、可扩展的标注体系。 2. Instance 与 Reasoning 构造 设计 instance 结构（instruction + context + reasoning + output），并针对不同任务选择合适的 reasoning 获取路径（强模型蒸馏、模板化拆解、真实文本抽取、人机协作等）。保证 reasoning 是 SFT/RFT 训练可直接使用的高质量推理链。 3. 分层验证方案设计 针对不同任务定义分层校验机制：规则硬匹配 → 结构完整性 → LLM-as-judge（将主观判断拆解为 yes/no 子问题）。把"评价推理质量"这类模糊问题降维为可自动化、可追溯的子任务。 4. Rubric 与评分标准建设 制定各方向 Rubric、评分分级与标注案例库，定义黄金集（golden sets）和奖励信号（reward signals），确保训练数据质量可量化、可迭代。擅长大批量生成高质量 rubric，而不是拍脑袋写几条规则。 5. 轨迹标注与 Bad Case 归因 对模型 Rollout 产出的多步执行轨迹进行逐步标注（正确性 / 必要性 / 思考质量 / 整体 Reward），并对失败步骤做根因分类（模型能力不足 / 评测标准缺陷 / 任务定义模糊 / 运行依赖缺失），输出结构化改进清单驱动训练数据补充与评测体系修正。 6. 标注质量管控 建立双标一致性校验、金标抽检、系统性偏差检测与分歧仲裁机制，管理外部数据供应商交付质量、运营内部专家产能，确保标注间一致率 ≥80%，数据可直接用于 Reward Model 训练。 7. 外部协作与专家资源整合 与高校老师、领域专家协作定义验收标准、评审样本、迭代规范，把外部资源转化为规模化精标数据；管理供应商时能给出清晰的标注规范、边界案例和仲裁依据。 8. 数据 → 模型 → 评测 闭环 周期性输出数据质量报告，识别模型能力薄弱区间，指导算法团队调整 Rollout 抽样策略与难度分布；随模型迭代补充更高难度标注数据，保持 Reward Model 区分度。
我们正在搭建 Work（AI 协同办公）方向的 RL/RFT 训练数据体系。这个岗位的核心职责是从线上回流数据中挖掘高价值样本：清洗、筛选、合成、发现 bad case，把海量线上数据变成模型训练和数据标注真正能用的东西。 职位描述 1. 线上数据回流与清洗 对接模型线上 rollout 产生的原始数据（轨迹、日志、用户反馈、执行结果等），设计清洗 pipeline，去重、去噪、过滤无效样本，把脏数据变成结构化可用的样本集。 2. 高价值数据挖掘 从海量线上数据中挖掘对模型训练有价值的样本：高难度任务、罕见场景、模型易错 case、用户真实需求分布。建立挖掘策略（规则 + 模型 + LLM 多信号融合），提升高价值样本的召回率。 3. Bad Case 发现与归因 系统性发现 bad case：模型执行失败、输出低质量、轨迹异常、用户投诉等。对 bad case 做根因分类（模型能力问题 / 数据分布问题 / 任务定义问题 / 环境依赖问题），输出结构化报告驱动数据补充和评测修正。 4. 数据合成与增强 设计数据合成策略：基于 LLM 对已有样本做变体生成、难度扩展、场景泛化，补充模型训练数据中的稀缺类型；验证合成数据质量，确保合成样本可直接用于训练。 5. LLM 驱动的精细化筛选 用 LLM-as-judge、质量评分模型等方式对海量数据做精筛，识别"表面合理但实际错误"的样本，把数据质量从"能看"升级到"能训"。设计筛选阈值与采样策略，平衡数据规模与质量。 6. 数据标注前置处理 为下游标注团队准备可标注的数据包：去重、预分类、标注难度分级、边界 case 标记，降低标注成本、提升标注效率。定期输出数据分布报告，指导标注优先级。 7. 数据 Pipeline 与基础设施 搭建端到端的数据处理 pipeline：采集 → 清洗 → 挖掘 → 合成 → 筛选 → 输出。保证数据可追溯（血缘管理）、可复现（版本管理）、可观测（关键指标监控）。 8. 协同算法与标注团队 与模型训练团队对齐"下一轮需要什么数据"，与标注团队对齐"什么样的数据值得标"，把数据挖掘变成模型能力提升的持续供给。
1、参与研发快手公司级的AI数据平台，构建高性能、分布式、可扩展的AI数据引擎，通过数据驱动模型生产，支撑包括 大模型、搜推广 等核心模型的高效迭代； 2、打造业界领先的AI数据引擎，包括高性能实时/离线分布式计算系统、流批一体化的AI数据湖存储系统、CPU/GPU混合计算Ray引擎等，为百万核规模、EB级数据的高效计算、存储、迭代提供易用可靠的基础设施； 3、与算法工程师、研究员团队紧密配合，深刻理解端到端的AI模型研发流程，探索业界前沿的Data4AI技术，负责模型研究中数据工程方案的架构设计、实现、持续迭代和稳定性维护。
1. 评测集体系搭建：构建Work方向评测体系，涵盖基模、AI应用下的AI办公软件、金融、法律、GUI&CLI 、企业级工作流大型项目等方向评测体系 2. Benchmark建设：构建高专业、高覆盖率的in-house 评测集，管理运营专家评测集生产，评测集合成技术生产 3. 评测集环境定制化开发：基于基础环境，定制化开发相关环境，构建与真实场景相匹配的环境，以支持评测集建设 4. 自动化评测集技术：LLM as Judge,Agent as Judge等评测技术研发，实现高效的自动评测 5. 评测输出：周期性评测模型短板，在模型研发阶段提供针对性的数据建议。指导数据生产、模型迭代。
• In this role, you will • - Evaluate ML & MM-LLM Models: Analyze, validate, and benchmark computer vision, multi-modal, and large language models(LLMs) to ensure they meet accuracy, robustness, and usability standards, utilizing techniques such as A/B testing and cross-validation, and other model evaluation methods • - Develop Metrics: Design and implement performance and evaluation metrics to measure model efficiency, accuracy, and scalability in real-world production environments. • - Failure Analysis: Conduct root cause analysis on model failures across computer vision and multi-modal language model pipelines, identifying improvement areas and collaborating with relevant teams to implement solution. • - Data Processing: Clean, transform, and curate large-scale structured and unstructured datasets, facilitating efficient model evaluation, benchmarking, and testing across diverse data modalities • - Model Optimization: Implement innovative model optimization techniques (e.g. model distillation, quantization, pruning) to improve model scalability, performance, and real-world deployment. • - Collaborate multi-functionally: Collaborate with cross-functional teams, including development, business analysts, and APO teams to integrate models into production. • - Communicate Results: Communicate findings clearly through technical reports, dashboards, and presentations, tailored to both technical and non-technical audiences.