夸克智能信息-NLP大模型安全算法专家-大模型安全
任职要求
1. 三年以上算法研发经历,计算机相关专业研究生及以上学历; 2. 具有NLP大模型应用、多模态应用、内容安全、大模型安全领域相关工作经验优先; 3. 熟悉大模型算法、NLP算法、AI Agent算法其中一个或多个领域; 4. 责任心强,积极主动,有良好的沟通能力和团队合作能力; 5. 在机器学习/NLP/人工智能相关领域会议或期刊发表过论文或者有竞赛经验者优先。
工作职责
1. 负责NLP内容安全防控体系搭建,负责语言大模型防控能力及链路建设,包括NLP内容审核能力、安全代答能力,跨模态特征检索能力、大模型安全微调能力等,保证业务安全及大模型应用安全; 2. NLP大模型算法:参与语言大模型风控的数据、算法、决策完整体系建设,负责NLP文本分类、RAG、AI Agent、跨模态检索、NLP安全大模型等算法研发,在业务场景打造行业一流的语言大模型安全风控体系; 3、岗位特色:应对全风险问题,快速提升综合算法能力,与大模型时代发展同步,深耕大模型安全领域,持续积累安全领域业务经验; 4、业务支持:保障夸克AI、通义千问ToC、UC浏览器、书旗小说、超级汇川等产品的内容安全及大模型安全; 5、部门特色:作为综合型安全中台,包含法务、GA、公关、数安、内安、商安等职能,协同共建为业务提供全面安全保障。
1. 负责多模态内容安全防控体系搭建,建设多全模态内容审核能力、多模态大模型安全调优能力,保证业务安全及大模型应用安全; 2. 多模态大模型算法:参与多模态大模型安全能力建设,负责多模态大模型安全能力、跨模态通用表征、AI Agent、AIGC等算法研发与应用,建立端到端多模态安全风控解决方案,紧跟业界前沿研究方向; 3、岗位特色:应对全风险,全模态问题,快速提升综合算法能力,与大模型时代发展同步,深耕大模型安全领域,持续积累安全领域业务经验; 4、业务支持:保障夸克AI、通义千问ToC、UC浏览器、书旗小说、超级汇川等产品的内容安全及大模型安全; 5、部门特色:作为综合型安全中台,包含法务、GA、公关、数安、内安、商安等职能,协同共建为业务提供全面安全保障。
1. 大模型攻击研究 ● 针对大语言模型(LLM)、多模态模型(VLM)、智能体(Agent)等开展安全性与幻觉问题研究,系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点; ● 设计并优化大模型对抗攻击算法,研究 Prompt 注入、自动化越狱策略与生成式数据增强方法,用于模拟实战攻击与安全性评估; ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库,支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制,开发 Prompt 过滤、上下文改写、敏感内容抑制等方法; ● 构建跨模态、多层次的安全防护框架,提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法,提升模型的内生安全能力; ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术,推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险,识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁; ● 设计 Agent 安全管控机制,包括权限控制、任务隔离、调用审计等,确保复杂场景下 Agent 的安全可控。
1、构建业界领先的AI for Security大规模解决方案和架构(例如代码分析、漏洞检测、攻击研判、Oncall); 2、与跨团队业务方紧密协作,推进大模型在安全领域的深度集成; 3、研究当前最好的算法模型和策略(Agent、后训练),并应用到字节跳动内场生产环境和ToB客户中; 4、团队培养和建设,跨团队、跨职能沟通协调,促进团队和合作方共赢。