小红书生成式大模型安全防护算法专家
任职要求
任职要求 1.计算机、人工智能相关专业硕士及以上学历，3年以上AI安全、内容风控或相关算法领域经验 2.具备以下至少一个领域经验：AIGC检测与识别技术、大模型安全与对齐研究、多模态内容理解与风控、对抗样本与攻防技术 3.熟…
工作职责
职位概述 负责构建小红书AIGC安全检测与防护的核心算法体系，研发先进的生成式内容识别与风险管控技术，保障平台内容安全与用户体验。 主要职责 1.构建生成式大模型安全防护体系，包括但不限Safety Alignment、恶意提示词检测、输出内容过滤、滥用行为识别等，搭建完整防护链路 2.研发AIGC检测算法，覆盖文本、图像、视频等多模态内容识别，搭建发布主动校验、传播被动检测和处置的完整AIGC识别标识链路 3.通过agentic等技术，设计生成式大模型背靠背攻防演练方案，形成数据飞轮 4.跟踪前沿生成式AI技术演进，预判新型安全风险并研发应对方案，优化检测算法性能和推理成本 5.协同产品、运营、法务、GA团队，保障新产品功能的安全合规与用户体验
1. 大模型攻击研究 ● 针对大语言模型（LLM）、多模态模型（VLM）、智能体（Agent）等开展安全性与幻觉问题研究，系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点； ● 设计并优化大模型对抗攻击算法，研究 Prompt 注入、自动化越狱策略与生成式数据增强方法，用于模拟实战攻击与安全性评估； ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库，支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制，开发 Prompt 过滤、上下文改写、敏感内容抑制等方法； ● 构建跨模态、多层次的安全防护框架，提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法，提升模型的内生安全能力； ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术，推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险，识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁； ● 设计 Agent 安全管控机制，包括权限控制、任务隔离、调用审计等，确保复杂场景下 Agent 的安全可控。
职位1-AI治理与对抗防御专家（构建企业AI时代的“攻防体系”与“合规护城河”）： 1. AI赋能的安全体系建设 (AI for Security & Compliance) 推动安全智能化转型：评估并引入AI驱动的安全工具（如自动化威胁检测、异常行为分析、AI辅助代码审计），提升安全运营中心（SOC）的效率。 合规自动化：利用AI技术自动追踪法规变更，自动化生成合规报告，降低人工合规成本。 2. AI系统全生命周期防护 (Security for AI / ML) 防御新型AI威胁：建立针对大模型应用（LLM）的防护体系，防范提示词注入（Prompt Injection）、模型逆向工程、训练数据投毒等新型攻击。 数据安全与隐私保护：严格管控AI训练数据的流转，实施数据脱敏与隐私计算技术，防止敏感信息通过AI模型泄露。 3. 跨界合规与伦理治理 (AI Governance & Regulation) 应对全球AI法规：主导公司AI产品对《欧盟AI法案》（EU AI Act）、GDPR、中国《生成式人工智能服务管理暂行办法》等的合规性落地。 建立AI伦理框架：制定企业内部AI可接受使用政策（AUP），确保AI决策的透明度、可解释性，规避算法歧视与道德风险。 4. 跨界协同与前沿研究 作为“翻译者”拉齐业务、研发、法务与安全的认知，定期开展AI红蓝对抗演练，保持对前沿AI漏洞的研究敏感度。 岗位核心要求： 1. 硬性技能与知识储备 复合型知识底座：精通网络安全（CISSP/CISM优选），同时具备扎实的AI/ML基础知识（了解Transformer架构、模型微调、RAG等）。 深谙全球监管框架：熟悉欧美及亚太区最新的数据隐私与AI专项法规，有应对第三方AI合规审计的经验。 实战技术能力：了解AI供应链安全（如模型来源验证、SBOM软件物料清单），掌握主流AI安全测试工具。 2. 关键软实力与经验 破局者思维：面对AI领域“法无禁止即可为”与“法已规定必严守”的模糊地带，能给出平衡业务发展与风险可控的落地策略。 极强的跨部门影响力：能用技术人员听得懂的语言讲合规，用法务和业务人员听得懂的语言讲底层攻击原理，消除部门壁垒。 职位2-智能硬件安全攻防专家（AI赋能方向） 主要职责： 1. AI驱动的安全研究与实践：研究并应用AI/ML技术（如大语言模型、异常检测算法）于漏洞挖掘、攻击模拟、恶意流量识别、入侵检测与自动化响应。构建“AI安全助手”，赋能研发团队在编码、测试阶段识别潜在安全风险。 2. 端到端安全攻防：主导对智能硬件设备、嵌入式系统、通信协议、移动应用、云端API及数据服务进行深度的渗透测试与红队演练。针对NAS、安防摄像头、机器人等高敏感设备，设计并执行专项安全评估。 3. 安全能力建设：设计和开发自动化安全工具链，将AI能力嵌入SDL流程，提升漏洞发现的效率与覆盖率。跟踪前沿攻防技术（特别是AI安全与对抗攻击），并将研究成果转化为内部防御策略。 4. 事件响应与赋能：作为核心成员应对重大安全事件，利用AI工具加速攻击溯源和影响面分析。为研发团队提供安全编码、安全设计的高级培训和实战指导。
1. 负责滴滴金融保险风险场景的模型设计、建设、开发、应用落地、持续迭代优化，为业务风险指标负责。 2. 拆解业务风险指标，转化为模型指标，并为之设定合理的提升目标 3. 尝试各类特征工程方法，挖掘集团内外部数据，加工生成有效特征，优化模型效果 4. 数据算法创新，了解并跟进业界领先的人工智能和深度学习进展，推动新的技术在风控领域落地
岗位职责: 1、负责 AI Agent 系统的设计、开发和优化、开发和完善基于大语言模型 (LLM) 的智能体系统，提升 Agent 的自主决策和任务执行能力; 2、负责生成式大模型指令意图理解相关工作，整体提升大模型的多轮对话指令理解能力和性能; 3、设计并实现 Agent 的工具使用接口，实现与各类外部系统和 API 的集成编排; 4、负责大模型在检索、推荐方面的系统设计实现和优化，探索Agent、RAG、领域模型调优等相关技术在业务场景落地; 5、具备模型知识、幻觉机制探究，提升模型知识水平、降低模型幻觉率; 6、能够基于开源模型，设计和开发算法，对模型进行微调，优化其参数和结构，以提高模型的泛化能力和准确性; 7、深入调研AI领域相关的前沿技术，跟踪业内大模型领域的最新进展，并寻求将最新技术应用到产品的可能性。