蚂蚁金服蚂蚁集团-大模型安全策略专家-杭州
任职要求
1、硕士以上学历，计算机科学、信息安全、机器学习算法、数学和统计分析等相关专业背景；具备人文和科技跨学科背景者优先； 2、三年以上科技和互联网行业安全及风险管理相关经验，不限方向；对生成式语言大模型、多模态大模型及…
工作职责
1、根据公司战略和产品设计制定并完善大模型安全策略，确保模型生成内容的合法性、道德性和准确性；保障相关服务应用的安全性和可用性； 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准，及时更新调整安全策略以确保合规并持续处于行业领先水平； 3、熟练掌握大模型安全评测和防御机制，主动发现和识别问题，通过应用模型微调、提示增强等手段提升内生和外围安全能力； 4、研究探索大模型安全相关技术手段和创新，持续优化、提升策略效能和对客体验；响应和处理相关突发事件和问题，及时采取措施降低负面影响。
1、负责大模型服务安全扫描和防御体系建设，为业务提供可靠的AI服务安全解决方案，平衡用户体验和风险控制，持续优化安全策略； 2、面向AI Agent及其他大模型应用范式，挖掘和研究大模型安全威胁及测试方法，联动产研算建设和运营大模型服务安全扫描能力，结合业务需求及新型大模型应用技术进行优化和升级。 3、基于安全攻防态势、数据分析挖掘和专家经验，围绕大模型应用场景和风险防控目标，设计和运营大模型服务风险防御策略，并与产研算团队深度合作，优化升级风险检测和处置能力。
1.agent整体安全方案设计：全链路设计端智能agent安全管控机制，包括供给安全、违规内容、xUI安全、意图护栏、调用管控、网络防御等，搭建对用户违规输入及模型违规输出的风险识别管控体系，确保复杂场景下的agent安全可控。 2.大模型攻击研究：研究端智能agent在多工具调用、RAG、memory、链式推理等复杂环境中的攻击面与潜在风险，识别敏感数据泄漏、工具滥用、意图篡改、海绵攻击、数据投毒、越狱攻击等新型威胁。 3.agent安全评测体系建设：基于端智能agent搭建风险知识体系，构建行业难题库及对抗样本生成工具，设计可复现的评测流程持续验证模型安全性与误杀表现。
1、根据内容安全、视频质量、数字化场景等管控要求和范围，结合广告/短视频业务特性进行风险分析，设计适配业务发展要求的解决方案并推动落地 2、基于业务海量图、文、音、视等内容，和用户行为、关系等数据，结合多模态内容理解认知，研发综合解决方案，解决实际业务问题； 3、保障业务运行过程中风险内容理解功能的稳定运行，并能设计体系化的响应、迭代、升级方案，保证方案全生命周期的稳定性 4、探索和拥抱多模态大模型技术，跟进当前AI发展最前沿，探索&挖掘大模型能力，应用到广告/短视频等业务
1、根据内容安全、广告法、业务质量等要求，结合广告业务特性进行风险分析，设计适配业务发展要求的解决方案并推动落地； 2、基于业务海量图、文、音、视等内容，和用户行为、关系等数据，结合多模态内容理解认知，研发综合解决方案，解决实际业务问题； 3、保障业务运行过程中风险内容理解功能的稳定运行，并能设计体系化的响应、迭代、升级方案，保证方案全生命周期的稳定性； 4、拥抱当前AI发展前沿，探索多模态大模型技术，通过研发领域大模型、AI Agent、Copilot等技术，推动大模型在业务上的应用落地。