小红书生成式大模型安全策略产品

1、负责生成式大模型安全防护产品策略的规划、设计和迭代，包括Safety Alignment、发prompt injection、反model jailbreak、风险生成内容过滤和实时检测机制。 2、负责设计多模态 AIGC 安全检测体系（文本/图像/视频），覆盖违规内容识别、伪造判定、真实度评估、深度伪造检测、模型生成技术追踪等方向。 3、持续跟踪和分析当前生成式AI技术的发展趋势，收集相关信息，并推动防御手段的更新和升级，以确保系统的安全性。 4、协同算法与研发团队，推动AIGC检测技术落地，优化防护效果和性能指标。 5、监控大模型安全态势，分析潜在风险，制定预防性和应急响应策略。 6、跨部门协调（如GA、安全运营、法务、数据），确保策略与业务目标对齐，并推动规模化应用。 7、跟踪行业法规和最佳实践，保障产品符合国内外安全与伦理标准。

1、安全策略设计与落地： 深入分析AI游戏、UGC等业务场景，识别潜在的内容与交互风险。 产出严谨的策略文档，明确定义不同场景下的安全标准与AI行为规范，并建立可量化的安全指标体系。 2、模型对齐与数据治理： 主导制定并迭代安全数据标注规范，为标注团队提供清晰、可执行的指引。 负责对标注数据进行质量审核与反馈，建立闭环优化机制，确保用于模型训练（SFT/RLHF）的数据源头高质量、高一致性。 3、风险监控与应急响应： 建立并维护风险监控体系，通过数据分析主动发现潜在的安全问题与策略漏洞。 作为问题响应的核心推动者，负责组织跨团队资源，进行根因分析，并推动解决方案的快速落地。 4、策略平台化建设： 抽象多场景下的共性安全需求，主导安全策略平台化建设，将通用安全能力抽象为可复用、可配置的模块化服务，提升整体安全策略的部署效率与一致性。 行业洞察与前瞻研究： 5、持续追踪全球生成式AI的安全技术、合规政策与行业最佳实践，进行前瞻性研究，并转化为对内可落地的策略建议与风险预警。

1、根据公司战略和产品设计制定并完善大模型安全策略，确保模型生成内容的合法性、道德性和准确性；保障相关服务应用的安全性和可用性； 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准，及时更新调整安全策略以确保合规并持续处于行业领先水平； 3、熟练掌握大模型安全评测和防御机制，主动发现和识别问题，通过应用模型微调、提示增强等手段提升内生和外围安全能力； 4、研究探索大模型安全相关技术手段和创新，持续优化、提升策略效能和对客体验；响应和处理相关突发事件和问题，及时采取措施降低负面影响。

1. AI安全产品规划与设计 （1）深入分析全球AI安全技术趋势（如大模型安全、生成式AI防御、AI安全运营），结合云安全市场的业务场景，制定AI安全产品的长期规划与演进路径。 （2）主导产品功能设计，输出PRD文档，确保产品在AI安全应用等领域的技术领先性。 （3） 将AI能力与云安全平台深度结合，设计云安全产品的智能化升级方案。 2. 产品商业化与上市推进 （1）主导AI安全产品的上架全流程，输出产品上市、定价策略等材料，确保产品快速进入市场并形成商业闭环。 （2）聚焦云安全客户的AI应用场景，与前线团队合作打造标杆案例，沉淀可复用的解决方案模板。 （3）通过分析云市场中AI安全需求，制定目标客户群的市场策略，输出商机地图和客户触达路径。 3. 数据驱动的产品经营与优化 （1）监控产品商业化核心指标（如客户付费率、功能使用渗透率、客户留存率），基于数据提出产品改进方向。 （2）制定产品线的增长计划，推动AI安全能力与云安全中心其他模块的协同变现。 4、持续改进与创新： （1）定期收集客户对AI安全产品的反馈，优先级管理需求，推动产品迭代与新功能孵化。 （2）优化产品稳定性、性能与成本，提升客户体验与产品竞争力。