小红书生成式大模型安全策略产品
任职要求
任职要求 1.本科及以上学历,计算机科学、人工智能、信息安全或相关领域;2年以上互联网产品经验,有AI安全、内容治理或风险控制相关经验。 2.精通生成式AI技术(如LLM、扩散模型)及其安全挑战,熟悉常见攻击和防护方案,精通AIGC识别基本方法(Watermark、C2PA、检测模型等) 3.具备强产品思维和数据分析能力,…
工作职责
职位概述 作为小红书Trust-and-Safety团队核心成员,负责制定生成式大模型相关安全防护和内容治理策略,保障生成式应用的安全合规性,优化AIGC内容在平台上的检测和标识。 主要职责 1.负责生成式大模型安全防护产品策略的规划、设计和迭代,包括Safety Alignment、发prompt injection、反model jailbreak、风险生成内容过滤和实时检测机制。 2.负责设计多模态 AIGC 安全检测体系(文本/图像/视频),覆盖违规内容识别、伪造判定、真实度评估、深度伪造检测、模型生成技术追踪等方向。 3.持续跟踪和分析当前生成式AI技术的发展趋势,收集相关信息,并推动防御手段的更新和升级,以确保系统的安全性。 4.协同算法与研发团队,推动AIGC检测技术落地,优化防护效果和性能指标。 5.监控大模型安全态势,分析潜在风险,制定预防性和应急响应策略。 6.跨部门协调(如GA、安全运营、法务、数据),确保策略与业务目标对齐,并推动规模化应用。 7.跟踪行业法规和最佳实践,保障产品符合国内外安全与伦理标准。
1、研究并实现高并发、分布式的网络爬虫系统,支持大规模数据采集需求 2、逆向Android/ios app、sdk、web和小程序,脱壳、反编译、抓包、拦截、加解密破解和数据传输分析等 3、开发数据清洗、存储及自动化处理流程,对接数据库或大数据平台(如MySQL、MongoDB、Hadoop、OSS、ODPS、Redis等) 4、优化爬虫性能,提升数据抓取效率与成功率,降低资源消耗 5、与数据、产品各方协作,支持智能营销业务场景(如营销日历、营销策略、营销内容生成等)落地
1、根据公司战略和产品设计制定并完善大模型安全策略,确保模型生成内容的合法性、道德性和准确性;保障相关服务应用的安全性和可用性; 2、研究大模型技术发展前沿趋势、相关法律法规及行业标准,及时更新调整安全策略以确保合规并持续处于行业领先水平; 3、熟练掌握大模型安全评测和防御机制,主动发现和识别问题,通过应用模型微调、提示增强等手段提升内生和外围安全能力; 4、研究探索大模型安全相关技术手段和创新,持续优化、提升策略效能和对客体验;响应和处理相关突发事件和问题,及时采取措施降低负面影响。
团队介绍:Data-抖音团队,负责抖音APP的推荐算法、内容算法、对话算法及大数据工作,对接各场景业务(短视频,直播,图文,电商,社交,生态,投稿,消息,同城,生活服务,音乐,评论,内容理解&安全、智能对话等)。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、内容理解、LLM应用以及新业务方向探索、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。在这里,你可以深入钻研机器学习算法的改进和优化,探索工业界最领先的推荐系统架构和推荐大模型算法、可以通过使用最新的大模型等技术支持抖音的数字人、智能客服、AI工具等创新探索;可以通过对产品的深度理解和思考,将算法应用到业务中去;也可以通过对产品和内容生态的深度分析,影响产品未来的发展方向。 抖音作为全球领先的综合性内容平台,拥有庞大的用户群体和多元化的业务生态。在设计如此大规模的推荐系统时,面临社交网络复杂、电商用户兴趣跨域迁移困难、内容与用户冷启动样本稀疏、直播推荐多目标融合效能不足、兴趣重复密集探索不足等多重挑战。 具体表现为:用户社交网络规模达万亿级,传统图算法难以高效地建模动态社交行为与内容消费的耦合关系;用户从内容兴趣到电商兴趣的迁移依赖跨域多模态理解与动态映射,现有方法难以捕捉潜在电商转化信号;新内容和新低活用户冷启动阶段样本量少,传统协同过滤与内容推荐方法泛化能力弱;直播推荐需实时融合点击、互动、消费等多目标信号,但启发式规则难以平衡用户长期体验与短期价值;兴趣密集追打问题严重,新兴趣探索效率不高。 1、社交网络增强的跨域兴趣建模:结合图神经网络(GNN)与大语言模型(LLM),构建用户全生命周期行为图谱,融合社交关系、内容互动与电商行为,挖掘社交网络中的社团结构与跨域兴趣传播路径; 2、兴趣迁移与转化信号捕捉:通过跨域对比学习与对抗生成技术,构建内容兴趣到电商兴趣的隐式映射网络,结合强化学习动态调控探索与利用,兼顾推荐精准性与多样性; 3、多模态小样本冷启动优化:利用LLM的Few-shot推理能力,通过内容语义理解与外部知识增强,设计元学习框架实现新ID特征与泛化特征的联合表征,缓解冷启动数据稀疏问题; 4、多目标融合与长短期价值平衡:基于大模型的泛化能力与长上下文感知,统一建模直播多目标(点击、时长、打赏等)的分布偏差与动态权重,设计个性化融合策略,替代传统多阶段漏斗架构,提升实时推荐效率; 5、兴趣密集与兴趣探索:通过用户兴趣画像建模与强化学习技术,实时捕捉用户消费与兴趣变化,缓解兴趣密集问题,为用户探索新的兴趣。
团队介绍:Data-抖音团队,负责抖音APP的推荐算法、内容算法、对话算法及大数据工作,对接各场景业务(短视频,直播,图文,电商,社交,生态,投稿,消息,同城,生活服务,音乐,评论,内容理解&安全、智能对话等)。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、内容理解、LLM应用以及新业务方向探索、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。在这里,你可以深入钻研机器学习算法的改进和优化,探索工业界最领先的推荐系统架构和推荐大模型算法、可以通过使用最新的大模型等技术支持抖音的数字人、智能客服、AI工具等创新探索;可以通过对产品的深度理解和思考,将算法应用到业务中去;也可以通过对产品和内容生态的深度分析,影响产品未来的发展方向。 抖音作为全球领先的综合性内容平台,拥有庞大的用户群体和多元化的业务生态。在设计如此大规模的推荐系统时,面临社交网络复杂、电商用户兴趣跨域迁移困难、内容与用户冷启动样本稀疏、直播推荐多目标融合效能不足、兴趣重复密集探索不足等多重挑战。 课题内容: 1、社交网络增强的跨域兴趣建模:结合图神经网络(GNN)与大语言模型(LLM),构建用户全生命周期行为图谱,融合社交关系、内容互动与电商行为,挖掘社交网络中的社团结构与跨域兴趣传播路径; 2、兴趣迁移与转化信号捕捉:通过跨域对比学习与对抗生成技术,构建内容兴趣到电商兴趣的隐式映射网络,结合强化学习动态调控探索与利用,兼顾推荐精准性与多样性; 3、多模态小样本冷启动优化:利用LLM的Few-shot推理能力,通过内容语义理解与外部知识增强,设计元学习框架实现新ID特征与泛化特征的联合表征,缓解冷启动数据稀疏问题; 4、多目标融合与长短期价值平衡:基于大模型的泛化能力与长上下文感知,统一建模直播多目标(点击、时长、打赏等)的分布偏差与动态权重,设计个性化融合策略,替代传统多阶段漏斗架构,提升实时推荐效率。 兴趣密集与兴趣探索:通过用户兴趣画像建模与强化学习技术,实时捕捉用户消费与兴趣变化,缓解兴趣密集问题,为用户探索新的兴趣; 5、涉及研究方向:图神经网络(GNN)、大语言模型(LLM)、多模态内容理解、小样本学习与元学习、多目标推荐系统、端到端深度学习。