阿里巴巴数据技术及产品部 AI Data-RL Data算法工程师-RL Instance构建方向
任职要求
1. 具备 RL/Post-Training 研究或机器学习Applied Scientist 相关经历，理解 Reward Modeling 基本原理及 Reward 信号设计对 RL 训练（PPO/GRPO/DAPO 等）的影响；有 Agentic 场景的轨迹评估分析经验，可以对多轮工具调用、代码执行等复杂轨迹识别行为模式与失败模式。 2. 能将模糊的质量目标拆解为可执行、可量化、可扩展的评估标准（Verifier / Rubric），并具备持续迭代以应对 Reward Hacking 的判断力。能与领域专家和标注团队协同，以人机协作的方式完成各类任务。 3. 熟练使用 Python，熟悉主…
工作职责
1. 通过分析主流Benchmark及模型评测结果等方式，结合训练需求确定 RL 数据的能力覆盖范围与优先级；从多种渠道的海量数据里筛选挖掘样本并构建出清晰、可执行的问题描述，作为后续rollout数据生产的起点。 2. 针对 Coding 及 Work 等场景，以人机协作的方式设计并构建Agent的运行环境，以及可量化的 Verifier 或多维度打分 Rubric。需要保证环境和Judge的正确性、完整性、鲁棒性，且持续迭代以应对 Reward Hacking等各类挑战，确保评估信号与训练目标对齐。 3. 端到端搭建批量化的数据生产与验证 Pipeline，涵盖任务生成、轨迹采样、自动校验和质量过滤；构建 QA 框架，对rollout结果进行预校验与失败模式分析，保障进入训练的数据可信、可追溯。 4. 与领域专家和算法/训练等团队紧密配合，将模型效果反馈转化为数据策略调整（任务难度、Reward 信号、标注规范等）；与标注、工程等团队协作，推动产线持续优化，形成"评测 → 数据 → 训练 → 评测"的闭环飞轮。
1. 负责AIData 各大平台的产品技术架构，包含数据资产管理平台、数据标注平台、数据评测平台，以及数据处理平台架构设计和开发。 2. 负责异构资源（GPU、CPU等硬件）的调度优化，实现潮汐资源、混部资源、多云资源的最优化调度。 3. 负责集群和业务服务的稳定性治理、资源利用率提升，通过系统化方式提高GPU、CPU等硬件资源的使用效率。 4. 参与设计高吞吐、低延迟的数据处理 pipeline。针对大模型数据处理场景（如LLM、多模态），优化数据清洗、预取、缓存及异步加载策略，确保数据大规模产出。 5. 领导数据处理集群优化相关团队，关注数据处理系统前沿技术，保持团队技术先进性。
1、技术趋势研究：密切关注并跟进前沿技术发展方向和最新动态，定向参与并出席国内外顶级AI行业峰会、学术论坛及专业社群活动，保持技术演进信息的常态化跟进，涵盖但不限于基础大模型、多模态大模型、世界模型、具身智能等领域，产出具有洞察力、影响力和指导力的技术趋势研究成果。 2、数据分析与洞察：收集并分析大模型数据与技术的变化趋势，评估公开数据、授权数据、合成数据等不同数据来源的质量与成本效益，研判数据处理、数据合成、模型评测等技术发展趋势与产业方向。 3、行业趋势研判与战略制定：分析行业联盟、开源社区对数据生态的影响，跟踪政策法规变化（如AI法案、数据隐私条例）对数据市场的影响，参与制定公司在大模型数据领域的中长期发展路线。
1. 设计大模型推理（reasoning trace / CoT blob）的加密与隐私保护方案，覆盖密钥管理（per-user / per-session 密钥体系）、加密协议选型、防重放机制设计。 2. 防御机制拆解： 跟踪国内外主流模型的安全策略，通过实验分析其在内容过滤、逻辑保护方面的实现路径。 3. 安全围栏建设： 构建覆盖 Prompt Injection、Tool Abuse、模型滥用、越权访问、数据泄露等AI 风险的纵深防御能力 4. 反蒸馏技术落地： 协助落地基础的防爬取、模型输出干扰等风控方案，保护公司模型资产。 5. 跨团队协作： 与算法团队配合，将发现的安全漏洞转化为模型微调或强化学习的训练样本，并实验验证效果。 6. 系统化：建设企业级安全风险感知体系，持续发现业务及 AI 系统安全风险。推动AI安全能力平台化、产品化，为AI开发提供统一、安全、易用的基础能力。
1.构建C端AI助手（如千问、悟空、QoderWork）的产品评测体系：围绕对话式AI助手的核心体验，从真实用户场景出发，设计评测维度、构建高质量评测集与评分标准，确保评测结果能真实反映产品的市场竞争力与用户体感。 2.驱动评测体系的产品化与平台化：负责将评测所需要的场景用例、评测流程与结果洞察封装，线上维护评测结果、对比与可视化看板，降低产品与算法团队的评测门槛，支撑快速迭代。 3.Agent与工具调用评测环境搭建：针对AI助手中的搜索联网、插件调用与Agent规划能力，搭建端到端的仿真运行环境与MCP工具层，实现外部工具接口的标准化注册、调用链路追踪与结果校验，确保多步骤任务评测的可复现性。 4.评测Benchmark建设：接入并适配主流开源评测集，同时持续挖掘用户真实Bad Case，沉淀并构建符合国内C端用户习惯的专属业务评测数据集，完成数据解析与评分逻辑对齐。 5.跨团队协同与体验闭环：作为评测体验专家，与产品经理、算法研究团队紧密协作，将产品侧的体验诉求转化为可量化的工程评测方案，并通过评测数据反哺产品迭代方向，以打造最受欢迎的AI应用为目标。