美团大模型安全策略专家
任职要求
1）本科以上学历，5年以上运营经验，有大模型内容安全相关行业、产品运营经历、数据处理分析能力的经验优先； 2）对风险理解较深，对行业保持关注和洞见，能够敏锐的把握政策及风险的动态变…
工作职责
1)负责跟踪大模型风控的趋势，输出政策解读、合规方案和合规策略，面向公司大模型内容提供合规咨询。 2)基于语言类、多模态类大模型风险防控要求，在大模型内生安全、外置防御、安全测评方面，设计风控策略并推动落地，确保安全与体验的平衡。 3)根据大模型AIGC内容安全管控要求和范围，结合业务特性进行风险评估，设计出适配业务发展需要的内容安全解决方案并推动落地。 4)通过数据分析、评测效果反馈，不断优化安全管控策略，提高大模型安全机审和人审防护质量。 5)与业务、法律、内容安全、GA等团队协作，确保大模型产品符合相关法律法规要求。 6)风险发生时快速应，协同产品技术团队，推动安全问题解决。
1、支持AI业务安全策略模型结构设计、模型数据建设、模型训练迭代、模型效果评估等全链路工作，保证业务需求稳定交付； 2、深入了解业务需求及流程链路，与组内同学、业务团队密切协作，根据业务指标、用户反馈等信息持续挖掘模型能力及策略优化空间，设计模型方案并保证高效高质落地； 3、熟练掌握模型训练方式和应用场景，从解决业务痛点出发灵活运用大模型方法，不断提升模型训练及业务应用效果； 4、密切协作产品研发等团队，积极探索大模型等先进的工作方式，带领团队拿到关键收益。
1、根据公司战略和产品设计制定并完善大模型安全策略，确保模型生成内容的合法性、道德性和准确性；保障相关服务应用的安全性和可用性； 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准，及时更新调整安全策略以确保合规并持续处于行业领先水平； 3、熟练掌握大模型安全评测和防御机制，主动发现和识别问题，通过应用模型微调、提示增强等手段提升内生和外围安全能力； 4、研究探索大模型安全相关技术手段和创新，持续优化、提升策略效能和对客体验；响应和处理相关突发事件和问题，及时采取措施降低负面影响。
1、负责大模型服务安全扫描和防御体系建设，为业务提供可靠的AI服务安全解决方案，平衡用户体验和风险控制，持续优化安全策略； 2、面向AI Agent及其他大模型应用范式，挖掘和研究大模型安全威胁及测试方法，联动产研算建设和运营大模型服务安全扫描能力，结合业务需求及新型大模型应用技术进行优化和升级。 3、基于安全攻防态势、数据分析挖掘和专家经验，围绕大模型应用场景和风险防控目标，设计和运营大模型服务风险防御策略，并与产研算团队深度合作，优化升级风险检测和处置能力。
1.agent整体安全方案设计：全链路设计端智能agent安全管控机制，包括供给安全、违规内容、xUI安全、意图护栏、调用管控、网络防御等，搭建对用户违规输入及模型违规输出的风险识别管控体系，确保复杂场景下的agent安全可控。 2.大模型攻击研究：研究端智能agent在多工具调用、RAG、memory、链式推理等复杂环境中的攻击面与潜在风险，识别敏感数据泄漏、工具滥用、意图篡改、海绵攻击、数据投毒、越狱攻击等新型威胁。 3.agent安全评测体系建设：基于端智能agent搭建风险知识体系，构建行业难题库及对抗样本生成工具，设计可复现的评测流程持续验证模型安全性与误杀表现。