小红书生成式大模型安全策略产品
任职要求
任职要求 1.本科及以上学历，计算机科学、人工智能、信息安全或相关领域；2年以上互联网产品经验，有AI安全、内容治理或风险控制相关经验。 2.精通生成式AI技术（如LLM、扩散模型）及其安全挑战，熟悉常见攻击和防护方案，精通AIGC识别基本方法（Watermark、C2PA、检测模型等） 3.具备强产品思维和数据分析能力，…
工作职责
职位概述 作为小红书Trust-and-Safety团队核心成员，负责制定生成式大模型相关安全防护和内容治理策略，保障生成式应用的安全合规性，优化AIGC内容在平台上的检测和标识。 主要职责 1.负责生成式大模型安全防护产品策略的规划、设计和迭代，包括Safety Alignment、发prompt injection、反model jailbreak、风险生成内容过滤和实时检测机制。 2.负责设计多模态 AIGC 安全检测体系（文本/图像/视频），覆盖违规内容识别、伪造判定、真实度评估、深度伪造检测、模型生成技术追踪等方向。 3.持续跟踪和分析当前生成式AI技术的发展趋势，收集相关信息，并推动防御手段的更新和升级，以确保系统的安全性。 4.协同算法与研发团队，推动AIGC检测技术落地，优化防护效果和性能指标。 5.监控大模型安全态势，分析潜在风险，制定预防性和应急响应策略。 6.跨部门协调（如GA、安全运营、法务、数据），确保策略与业务目标对齐，并推动规模化应用。 7.跟踪行业法规和最佳实践，保障产品符合国内外安全与伦理标准。
1、根据公司战略和产品设计制定并完善大模型安全策略，确保模型生成内容的合法性、道德性和准确性；保障相关服务应用的安全性和可用性； 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准，及时更新调整安全策略以确保合规并持续处于行业领先水平； 3、熟练掌握大模型安全评测和防御机制，主动发现和识别问题，通过应用模型微调、提示增强等手段提升内生和外围安全能力； 4、研究探索大模型安全相关技术手段和创新，持续优化、提升策略效能和对客体验；响应和处理相关突发事件和问题，及时采取措施降低负面影响。
1. AI安全产品规划与设计 （1）深入分析全球AI安全技术趋势（如大模型安全、生成式AI防御、AI安全运营），结合云安全市场的业务场景，制定AI安全产品的长期规划与演进路径。 （2）主导产品功能设计，输出PRD文档，确保产品在AI安全应用等领域的技术领先性。 （3） 将AI能力与云安全平台深度结合，设计云安全产品的智能化升级方案。 2. 产品商业化与上市推进 （1）主导AI安全产品的上架全流程，输出产品上市、定价策略等材料，确保产品快速进入市场并形成商业闭环。 （2）聚焦云安全客户的AI应用场景，与前线团队合作打造标杆案例，沉淀可复用的解决方案模板。 （3）通过分析云市场中AI安全需求，制定目标客户群的市场策略，输出商机地图和客户触达路径。 3. 数据驱动的产品经营与优化 （1）监控产品商业化核心指标（如客户付费率、功能使用渗透率、客户留存率），基于数据提出产品改进方向。 （2）制定产品线的增长计划，推动AI安全能力与云安全中心其他模块的协同变现。 4、持续改进与创新： （1）定期收集客户对AI安全产品的反馈，优先级管理需求，推动产品迭代与新功能孵化。 （2）优化产品稳定性、性能与成本，提升客户体验与产品竞争力。
作为蚂蚁集团核心风控技术部门，我们专注于解决业务风险相关的技术挑战与系统建设，覆盖资金安全、数据安全、大模型安全、反洗钱及数字化业务风控等领域。这些业务场景因强对抗性、风险形态多样化、高时效性要求等特性，对技术规模性、系统复杂度、性能极限、智能化水平及可扩展能力提出跨维度挑战。 技术沉淀与突破： 过去数十年，团队基于特征工程、策略体系、模型算法及数据驱动框架，构建了具备行业领先水平的智能风控基础设施，持续守护超大规模业务的安全运行。 未来方向与目标，在大模型技术驱动的新阶段，我们计划联合顶尖人才突破以下核心方向： 大模型驱动的风控基建：研发生成式AI为核心的智能引擎，提升风险识别与对抗能力； 自主进化的防御体系：深度结合业务理解与模型技术，构建风险防护、用户行为分析、产品风险识别的核心能力； 技术前沿探索：攻坚大模型在风控场景中的安全应用、动态对抗机制及可扩展性难题； 我们期待与具备顶尖技术视野与工程能力的候选人合作，共同定义下一代智能风控的技术标准。 结合安全各种风险场景，如黑产攻击，风险防控，权限管理，多模态内容理解，进行大模型算法/工程/应用的全栈/全流程建模，选型，设计，研发，和优化，并在基础设施或者应用有所创新和突破（如Prompt自动优化，SFT自适应，分布式训练编译调度，黑产对抗的强化学习，防控特征/策略的生成，面向对抗的多模态算法/系统设计和优化等）。
1. AI安全产品规划与设计 （1）深入分析全球AI安全技术趋势（如大模型安全、生成式AI防御、AI安全运营），结合云安全市场的业务场景，制定AI安全产品的长期规划与演进路径。 （2）主导产品功能设计，输出PRD文档，确保产品在AI安全应用等领域的技术领先性。 （3） 将AI能力与云安全平台深度结合，设计云安全产品的智能化升级方案。 2. 产品商业化与上市推进 （1）主导AI安全产品的上架全流程，输出产品上市、定价策略等材料，确保产品快速进入市场并形成商业闭环。 （2）聚焦云安全客户的AI应用场景，与前线团队合作打造标杆案例，沉淀可复用的解决方案模板。 （3）通过分析云市场中AI安全需求，制定目标客户群的市场策略，输出商机地图和客户触达路径。 3. 数据驱动的产品经营与优化 （1）监控产品商业化核心指标（如客户付费率、功能使用渗透率、客户留存率），基于数据提出产品改进方向。 （2）制定产品线的增长计划，推动AI安全能力与云安全中心其他模块的协同变现。 4、持续改进与创新： （1）定期收集客户对AI安全产品的反馈，优先级管理需求，推动产品迭代与新功能孵化。 （2）优化产品稳定性、性能与成本，提升客户体验与产品竞争力。