蚂蚁金服蚂蚁集团-大模型安全策略专家-杭州
任职要求
1、硕士以上学历，计算机科学、信息安全、机器学习算法、数学和统计分析等相关专业背景；具备人文和科技跨学科背景者优先； 2、三年以上科技和互联网行业安全及风险管理相关经验，不限方向；对生成式语言大模型、多模态大模型及其产品应用等有一定了解和应用。 3、熟练掌握SQL、R等常规数据处理工具，能够独立进行大规模数据处理和分析； 4、具备良好的沟通协调能力、组织能力和团队合作能力；对新兴事物和科技发展具备强烈兴趣、好奇心和探索精神。
工作职责
1、根据公司战略和产品设计制定并完善大模型安全策略，确保模型生成内容的合法性、道德性和准确性；保障相关服务应用的安全性和可用性； 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准，及时更新调整安全策略以确保合规并持续处于行业领先水平； 3、熟练掌握大模型安全评测和防御机制，主动发现和识别问题，通过应用模型微调、提示增强等手段提升内生和外围安全能力； 4、研究探索大模型安全相关技术手段和创新，持续优化、提升策略效能和对客体验；响应和处理相关突发事件和问题，及时采取措施降低负面影响。
1、负责大模型服务安全扫描和防御体系建设，为业务提供可靠的AI服务安全解决方案，平衡用户体验和风险控制，持续优化安全策略； 2、面向AI Agent及其他大模型应用范式，挖掘和研究大模型安全威胁及测试方法，联动产研算建设和运营大模型服务安全扫描能力，结合业务需求及新型大模型应用技术进行优化和升级。 3、基于安全攻防态势、数据分析挖掘和专家经验，围绕大模型应用场景和风险防控目标，设计和运营大模型服务风险防御策略，并与产研算团队深度合作，优化升级风险检测和处置能力。
1、根据内容安全、视频质量、数字化场景等管控要求和范围，结合广告/短视频业务特性进行风险分析，设计适配业务发展要求的解决方案并推动落地 2、基于业务海量图、文、音、视等内容，和用户行为、关系等数据，结合多模态内容理解认知，研发综合解决方案，解决实际业务问题； 3、保障业务运行过程中风险内容理解功能的稳定运行，并能设计体系化的响应、迭代、升级方案，保证方案全生命周期的稳定性 4、探索和拥抱多模态大模型技术，跟进当前AI发展最前沿，探索&挖掘大模型能力，应用到广告/短视频等业务
1. 与安全运营、产品等团队紧密合作，负责团队的建设、管理与激励，确保团队成员的技术成长与职业发展，打造高效、创新的研发团队。确保云安全工具与平台能够有效支持公司整体安全策略； 2. 主导云安全保障工具及平台的架构设计与开发，确保其高性能、高可用性和可扩展性； 3. 深入研究AI大模型在云安全领域的应用，制定AI应用的技术路线图，带领团队开发基于AI的安全防护算法与工具，提升安全平台的智能化水平。
1. 大模型攻击研究 ● 针对大语言模型（LLM）、多模态模型（VLM）、智能体（Agent）等开展安全性与幻觉问题研究，系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点； ● 设计并优化大模型对抗攻击算法，研究 Prompt 注入、自动化越狱策略与生成式数据增强方法，用于模拟实战攻击与安全性评估； ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库，支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制，开发 Prompt 过滤、上下文改写、敏感内容抑制等方法； ● 构建跨模态、多层次的安全防护框架，提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法，提升模型的内生安全能力； ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术，推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险，识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁； ● 设计 Agent 安全管控机制，包括权限控制、任务隔离、调用审计等，确保复杂场景下 Agent 的安全可控。