阿里巴巴云安全大模型智能体对抗评测与能力边界定义-阿里星
任职要求
1、扎实的机器学习/深度学习基础，熟悉大模型评测方法（LLM-as-a-Judge、红队测试、对抗评测等）； 2、深入理解 Claude、OpenAI 等顶尖实验室的模型评测技术体系，具备改进与创新能力； 3、对安全攻防有强烈兴趣，具备构造 Corner C…
工作职责
1、设计面向云安全场景（入侵检测、自动化渗透、合规审计）的大模型评测体系，定义“懂安全的 AI”量化标准； 2、落地自动化攻击算法，构建红蓝智能体对抗环境，持续挑战 AI 极限，评估其接管复杂防御决策的资质； 3、深入研究并创新应用 Claude、OpenAI评测框架等前沿技术，构建云安全领域的评测标杆； 4、探索多智能体对抗、自动化反馈强化学习等技术，实现评测结果直接驱动模型进化的闭环系统。
1. 深度挖掘大模型在复杂任务、长尾场景、不同语种下的弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集； 2. 参与 LLM-as-a-Judge 方案的设计与实现，训练高精度的 Reward Model（奖励模型），建模人类偏好，提升模型在指令遵循、安全性及复杂逻辑上的表现； 3. 设计高效的 Reward Signal（奖励信号）并合成对应数据，通过强化学习（RL）算法持续提升模型的能力上限与泛化性； 4. 参与开发 Evaluation 与 Reward System 所需的工程框架，简化多任务测试流程，提升大规模模型集成与实验的效率； 5. 跟踪全球大模型最新进展（如 Agent 评测、多模态对齐、自动化数据合成等），推动研究成果在真实业务场景中的落地。
1. 平台风险治理：深入理解监管合规要求与平台业务发展节奏，结合产品实际能力与行业竞对情况，制定切实可落地的平台安全方案；并具备在业务快速迭代环境中动态调整安全策略的能力，推动安全与业务协同发展而非相互掣肘； 2. 算法安全管控：结合大模型的新能力与新风险特征，系统性设计安全管控框架，综合平衡风险召回率、用户体验、产品性能与稳定性、行业整体水位等多维目标； 3. 知识产权合规：持续跟进国内外 AIGC 领域知识产权重点案例与监管走向，开展系统性合规调研，结合平台业务场景输出具备实操性的治理判断与风险应对建议，协助平台建立主动、前瞻的知识产权合规机制。
1. 深度挖掘大模型在复杂任务、长尾场景、不同语种下的弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集； 2. 参与 LLM-as-a-Judge 方案的设计与实现，训练高精度的 Reward Model（奖励模型），建模人类偏好，提升模型在指令遵循、安全性及复杂逻辑上的表现； 3. 设计高效的 Reward Signal（奖励信号）并合成对应数据，通过强化学习（RL）算法持续提升模型的能力上限与泛化性； 4. 参与开发 Evaluation 与 Reward System 所需的工程框架，简化多任务测试流程，提升大规模模型集成与实验的效率； 5. 跟踪全球大模型最新进展（如 Agent 评测、多模态对齐、自动化数据合成等），推动研究成果在真实业务场景中的落地。
1. 平台风险治理：深入理解监管合规要求与平台业务发展节奏，结合产品实际能力与行业竞对情况，制定切实可落地的平台安全方案；并具备在业务快速迭代环境中动态调整安全策略的能力，推动安全与业务协同发展而非相互掣肘； 2. 算法安全管控：结合大模型的新能力与新风险特征，系统性设计安全管控框架，综合平衡风险召回率、用户体验、产品性能与稳定性、行业整体水位等多维目标； 3. 知识产权合规：持续跟进国内外 AIGC 领域知识产权重点案例与监管走向，开展系统性合规调研，结合平台业务场景输出具备实操性的治理判断与风险应对建议，协助平台建立主动、前瞻的知识产权合规机制。