蚂蚁金服蚂蚁集团-大模型安全策略专家-杭州
任职要求
1、大学本科及以上学历，计算机、信息安全、数学等理工科相关专业毕业； 2、了解安全技术或治理方法的行业标准和动态，有两年以上的安全从业经验；有相关安全证书，如CISP、CISSP、CISA等优先； 3、熟悉主流的AI产品和大模型训练和智能体开发生命周期，有数据安全或应用安全运营经验…
工作职责
1、负责大模型服务安全扫描和防御体系建设，为业务提供可靠的AI服务安全解决方案，平衡用户体验和风险控制，持续优化安全策略； 2、面向AI Agent及其他大模型应用范式，挖掘和研究大模型安全威胁及测试方法，联动产研算建设和运营大模型服务安全扫描能力，结合业务需求及新型大模型应用技术进行优化和升级。 3、基于安全攻防态势、数据分析挖掘和专家经验，围绕大模型应用场景和风险防控目标，设计和运营大模型服务风险防御策略，并与产研算团队深度合作，优化升级风险检测和处置能力。
1、根据公司战略和产品设计制定并完善大模型安全策略，确保模型生成内容的合法性、道德性和准确性；保障相关服务应用的安全性和可用性； 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准，及时更新调整安全策略以确保合规并持续处于行业领先水平； 3、熟练掌握大模型安全评测和防御机制，主动发现和识别问题，通过应用模型微调、提示增强等手段提升内生和外围安全能力； 4、研究探索大模型安全相关技术手段和创新，持续优化、提升策略效能和对客体验；响应和处理相关突发事件和问题，及时采取措施降低负面影响。
1. 平台风险治理：深入理解监管合规要求与平台业务发展节奏，结合产品实际能力与行业竞对情况，制定切实可落地的平台安全方案；并具备在业务快速迭代环境中动态调整安全策略的能力，推动安全与业务协同发展而非相互掣肘； 2. 算法安全管控：结合大模型的新能力与新风险特征，系统性设计安全管控框架，综合平衡风险召回率、用户体验、产品性能与稳定性、行业整体水位等多维目标； 3. 知识产权合规：持续跟进国内外 AIGC 领域知识产权重点案例与监管走向，开展系统性合规调研，结合平台业务场景输出具备实操性的治理判断与风险应对建议，协助平台建立主动、前瞻的知识产权合规机制。
1. 平台风险治理：深入理解监管合规要求与平台业务发展节奏，结合产品实际能力与行业竞对情况，制定切实可落地的平台安全方案；并具备在业务快速迭代环境中动态调整安全策略的能力，推动安全与业务协同发展而非相互掣肘； 2. 算法安全管控：结合大模型的新能力与新风险特征，系统性设计安全管控框架，综合平衡风险召回率、用户体验、产品性能与稳定性、行业整体水位等多维目标； 3. 知识产权合规：持续跟进国内外 AIGC 领域知识产权重点案例与监管走向，开展系统性合规调研，结合平台业务场景输出具备实操性的治理判断与风险应对建议，协助平台建立主动、前瞻的知识产权合规机制。
1.agent整体安全方案设计：全链路设计端智能agent安全管控机制，包括供给安全、违规内容、xUI安全、意图护栏、调用管控、网络防御等，搭建对用户违规输入及模型违规输出的风险识别管控体系，确保复杂场景下的agent安全可控。 2.大模型攻击研究：研究端智能agent在多工具调用、RAG、memory、链式推理等复杂环境中的攻击面与潜在风险，识别敏感数据泄漏、工具滥用、意图篡改、海绵攻击、数据投毒、越狱攻击等新型威胁。 3.agent安全评测体系建设：基于端智能agent搭建风险知识体系，构建行业难题库及对抗样本生成工具，设计可复现的评测流程持续验证模型安全性与误杀表现。