智能互联集团安全部-大模型安全攻防-AI for Security
任职要求
1、负责安全大模型LLM和智能体应用的安全分析、设计和开发； 2、熟悉主流AI框架，具备扎实的大模型技术基础，了解其架构、训练方法及优化技巧； 3、熟悉智能体系统各模块安全机…
工作职责
1. 具备一定的AI技术研究，熟悉AI和大模型在安全领域的应用开发与优化，包括但不限于威胁检测、流量分析、异常行为识别、数据隐私保护等； 2. 利用大模型构建新型对抗性攻击与防御系统，自动化分析、预测、建模来识别异常、欺诈、违规、恶意行为，为安全防护提供智能化支持。 3. 结合大模型进行新攻击方式、新技术方法的创新研究，并应用于实际安全场景。 4. 负责大模型安全应用技术平台搭建，组件的研发，持续迭代优化。 5. 与业界、学术界紧密合作，推动大模型在安全领域的落地及发展。
1. 紧跟海内外相关法律法规动态，及LLM和智能体的风险态势，能构建风险矩阵，定义风险细则。 2. 构建全面、科学的护栏评测集，与算法深度合作，通过评测发现更多模型缺陷，牵引护栏能力的升级。同时整体为能力的运维与交付负责。 3. 深度支持业务，同算法一起为业务提供适配模型及应用的安全解决方案，推动安全策略的有效实施与迭代。
1. 面向安全垂域大模型，构建安全领域知识体系，将高质量领域知识转化为适用于大模型的有效训练数据，提升基座模型在业务场景的知识理解与推理能力； 2. 深入研究大语言模型的知识理解、表征与记忆机制，探索知识在模型内部的存储、激活与推理路径，为高效的知识注入提供理论基础； 3. 建立安全领域知识的质量标准和评估体系，驱动安全基座模型的持续迭代与优化，形成“知识-数据-模型-评测”的安全数据飞轮； 4. 探索安全特色的知识增强技术，提升基座模型在安全攻防对抗环境的知识应用与规划能力，通过自我博弈提升模型智能水平。
1、评测是大模型下半场的重中之重。构建面向大模型的多维度评估体系，包含安全垂域能力（内容、商品、行为风险识别，变异对抗）、通用能力（指令遵循、长上下文理解、工具调用）等。通过算法实现科学有效、持续进化的自动化评估方案，深入大模型训练的各个阶段，为模型能力持续提升提供精准反馈与指导 2、负责基础模型和安全应用的效果评估工作，深度参与安全大模型的性能分析与评估，尤其聚焦于基础模型、多模态、agent、和前沿技术（RL、对抗学习）等方向的能力定向分析，驱动模型迭代优化，直接影响前沿技术落地效果与用户体验 3、紧跟业界人工智能技术前沿动态，结合大模型发展成果，将Agent、RAG、Post-Train等技术在实际场景中落地。积极分享和沉淀关键技术，推动技术创新
1、探索知识和评测驱动的模型自主训练闭环链路，实现大模型训练自进化框架 2、基于业务需求，利用自主训练闭环链路训练安全基础模型，保持通用能力不降的前提下提升业务效果 3、与工程团队合作搭建Agentic环境，负责Agent相关训练和评测 4、研究安全场景的知识和评测问题，发表论文、专利、开源评测集等成果