阿里巴巴智多星-大模型安全对抗工程师
任职要求
1.计算机、网络安全、人工智能等相关专业在读硕士或博士，对大模型安全、AI对抗样本、密码学或传统Web安全有浓厚兴趣。 2.具备扎实的深度学习基础：熟练掌握PyTorch等深度学习框架，熟悉Transformer架构，有大模型微调（PEFT/SFT）或强化学习（RL）基础实验经验者优先。 3.对大模型安全漏洞有一定认知，了解常见的大模型安全问题（如提示词注入、越狱攻击），有关注或复现过国内外主流大模型越狱/攻击方法的经历。 4.具备良好的代码…
工作职责
1.参与大模型安全对抗演练：协助开展大模型全链路（SFT/RLHF/推理部署）的安全风险排查、漏洞挖掘与红蓝对抗样本建设。 2.协助研发自动化红队工具：参与设计并实现针对大模型/多模态模型的自动化越狱、提示词注入和对抗性扰动生成算法，协助进行安全边界压力测试。 3.参与大模型安全对齐与防御算法研发：辅助进行基于RLAIF、DPO等前沿对齐技术的算法实验；参与优化输入/输出内容安全过滤模型与多维风险评估机制。 4.开展前沿安全威胁与防御研究：针对间接提示词注入、数据投毒、偏好劫持等前沿安全威胁进行算法复现与评测，探索前沿防御方案。 5.负责安全数据建设与评测闭环：协助构建和维护多维度的安全评测Benchmark，参与编写自动化评测脚本，协助实现“攻击生成-防御阻断-模型评估”的迭代闭环。
团队介绍 我们专注于大模型在 Agentic & Coding 领域的评测范式探索与高质量数据构建，不仅核心支撑 Qwen 系列等大模型业务的交付迭代，更致力于在前沿方向探索下一代评测与数据体系，坚持产业落地与前沿探索并重。团队在业界已建立起显著的技术影响力，主导及参与了包括 SWE-CI、QwenClawBench、Terminal-Bench-Pro、Let It Flow (ROME Model)、HLE-Verified、V-GameGym 等多项前沿研究与基准构建工作。 岗位职责方向（参与其中任一方向） 1. 复杂 Agentic 环境合成和 Infra 研究：负责复杂 Agentic 环境合成及评测集交付；设计并搭建统一的数字 Agent 评测基础设施，构建更加复杂的 Agent 环境基建。 2. 持续学习与记忆评测、长程任务评估：研究大模型持续学习机制，构建针对长周期记忆检索、经验复用及动态知识更新的评估框架，沉淀 Agent 自主学习与长效记忆评测集。 3. 世界模型评测与数据：搭建世界模型环境，评估模型对数字世界状态转移的理解和决策推演能力；交付世界模型评测集，以及状态推演与决策轨迹的高质量数据集。 4. Agent 失败模式与可解释性研究：深入 Agent 和模型架构层进行可解释性工作；研究 Agent 运行中间轨迹的自动化分析方法，定位模型失败根本原因，提供专业下探与诊断能力，指导模型定向优化。
1. 领域任务体系搭建（Taxonomy 设计） 对陌生专业领域做结构化拆解：一级领域 → 二级场景 → 任务类型 → instance 模板，产出可复用、可扩展的标注体系。 2. Instance 与 Reasoning 构造 设计 instance 结构，并针对不同任务选择合适的 reasoning 获取路径。保证 reasoning 是 SFT/RFT 训练可直接使用的高质量推理链。 3. 分层验证方案设计 针对不同任务定义分层校验机制。把"评价推理质量"这类模糊问题降维为可自动化、可追溯的子任务。 4. Rubric 与评分标准建设 制定各方向 Rubric、评分分级与标注案例库，定义黄金集（golden sets）和奖励信号（reward signals），确保训练数据质量可量化、可迭代。擅长大批量生成高质量 rubric，而不是拍脑袋写几条规则。 5. 轨迹标注与 Bad Case 归因 对模型 Rollout 产出的多步执行轨迹进行逐步标注，并对失败步骤做根因分类，输出结构化改进清单驱动训练数据补充与评测体系修正。 6. 标注质量管控 建立双标一致性校验、金标抽检、系统性偏差检测与分歧仲裁机制，管理外部数据供应商交付质量、运营内部专家产能，确保标注间一致率 ≥80%，数据可直接用于 Reward Model 训练。 7. 数据 → 模型 → 评测 闭环 周期性输出数据质量报告，识别模型能力薄弱区间，指导算法团队调整 Rollout 抽样策略与难度分布；随模型迭代补充更高难度标注数据，保持 Reward Model 区分度。
1. 端到端负责RL数据（coding 方向）项目：从方案设计、数据有效性验证到规模化生产 ，帮助模型在性能上达到业界SOTA。 2. Rubric 与评估体系设计：将业务目标和模型能力目标抽象为多维度、层级化的评分标准（Rubric），设计权重、评分规则和边界 case 处理策略；持续迭代 Rubric 以覆盖新场景、堵住 reward hacking 路径。 3. RL Data 生产与质量保障：端到端负责 Agentic 场景的数据生产项目，从任务设计、轨迹采样、标注执行到质量验收；构建 QA 框架，对 Grader 输出做一致性校验和失败模式分析，确保进入训练的数据可信。 4. 失败模式归纳与数据迭代: 从大量 Trajectory 中归纳 Error Taxonomy，建立失败模式分类体系，将分析结论转化为数据策略调整（任务难度、Reward 信号修正、标注规范更新），形成数据飞轮闭环。 5. 协同算法团队闭环：与模型训练/RL算法团队紧密配合，对接 Reward/Grader 需求, 将模型效果反馈翻译为数据改进策略。 6. 数据体系设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐; 7. 探索更科学的评测指标、更高效的评测方法。
我们团队专注于大模型的高质量数据合成算法与通用评测算法研究，希望在AI下半场通过评测驱动的方式引领大模型技术方向。我们的研究方向覆盖： 1. 多智能体协作式数据合成算法 2. 高质量训练数据筛选算法 3. RL算法创新 4. 通用Reward model训练方法 5. Agent Harness工程 & Agent环境scaling算法 职位描述： 1、裁判/奖励模型（Reward Model）研发：结合最前沿的训练技术（如 SFT、RLHF、DPO/PPO 等），构建 SOTA 级别的奖励模型，为业务侧强化学习（RL）提供核心动能。 2、评测体系与 Benchmark 构建：运用多智能体（Multi-Agent）技术构建权威评测基准，或研发自动化的评测合成方案，精准量化 SOTA 模型的能力边界与缺陷，驱动“数据-评测”闭环飞轮。 3、数据合成技术创新：探索创新的数据合成算法，生产高难度、高多样性的训练与评测语料；同时利用算法构建智能体（Agent）训练与评测所需的复杂仿真环境。 4、前沿强化学习（RL）算法探索：跟踪并研究 RL 领域的最新进展，挑战通用强化学习算法的性能极限，推动技术从理论突破向实际场景转化。