阿里云阿里云智能-大模型安全算法专家-杭州
任职要求
1. 硕士及以上学历,计算机、人工智能、软件工程、数学、自动化等相关专业优先; 2. 深入理解 Transformer 架构及大语言模型基础知识,熟悉模型评测方案(Evaluation)或具有后训练(Post-training,如 SFT、RL等)经验; 3. 具备卓越的代码工程能力,精通 Python 编程及 PyTorch、TensorF…
工作职责
1. 深度挖掘大模型在复杂任务、长尾场景、不同语种下的弱点,设计并构建具有可扩展性的自动化评测方案及高质量数据集; 2. 参与 LLM-as-a-Judge 方案的设计与实现,训练高精度的 Reward Model(奖励模型),建模人类偏好,提升模型在指令遵循、安全性及复杂逻辑上的表现; 3. 设计高效的 Reward Signal(奖励信号)并合成对应数据,通过强化学习(RL)算法持续提升模型的能力上限与泛化性; 4. 参与开发 Evaluation 与 Reward System 所需的工程框架,简化多任务测试流程,提升大规模模型集成与实验的效率; 5. 跟踪全球大模型最新进展(如 Agent 评测、多模态对齐、自动化数据合成等),推动研究成果在真实业务场景中的落地。
1. 大模型攻击研究 ● 针对大语言模型(LLM)、多模态模型(VLM)、智能体(Agent)等开展安全性与幻觉问题研究,系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点; ● 设计并优化大模型对抗攻击算法,研究 Prompt 注入、自动化越狱策略与生成式数据增强方法,用于模拟实战攻击与安全性评估; ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库,支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制,开发 Prompt 过滤、上下文改写、敏感内容抑制等方法; ● 构建跨模态、多层次的安全防护框架,提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法,提升模型的内生安全能力; ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术,推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险,识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁; ● 设计 Agent 安全管控机制,包括权限控制、任务隔离、调用审计等,确保复杂场景下 Agent 的安全可控。

1. 深度挖掘大模型在复杂任务、长尾场景、不同语种下的弱点,设计并构建具有可扩展性的自动化评测方案及高质量数据集; 2. 参与 LLM-as-a-Judge 方案的设计与实现,训练高精度的 Reward Model(奖励模型),建模人类偏好,提升模型在指令遵循、安全性及复杂逻辑上的表现; 3. 设计高效的 Reward Signal(奖励信号)并合成对应数据,通过强化学习(RL)算法持续提升模型的能力上限与泛化性; 4. 参与开发 Evaluation 与 Reward System 所需的工程框架,简化多任务测试流程,提升大规模模型集成与实验的效率; 5. 跟踪全球大模型最新进展(如 Agent 评测、多模态对齐、自动化数据合成等),推动研究成果在真实业务场景中的落地。
1. 负责内容安全领域的大模型算法研发与落地,构建面向国际及国内多场景(如商品审核、社区内容、广告等)的智能识别与风险防控体系; 2. 设计并实现基于大模型的自动化审核系统,提升审核效率与准确率,支持高并发、低延迟的在线服务; 3. 负责商品治理领域的风险防控算法研发与落地,面向数十亿级商品库,构建覆盖假货、侵权、山寨、劣质、滥发等核心场景的智能识别体系,通过大模型驱动的内容理解、行为建模与知识推理技术,提升风险识别准确率与自动化处置能力,保障消费者购物体验与权利人平台权益,支撑电商生态健康可持续发展; 4. 探索大模型在内容理解、行为建模、团伙识别、跨语言语义分析等方向的应用,推动从传统规则/小模型向知识驱动AGI范式的演进; 5. 构建可解释、可迭代的知识生产闭环,支撑风险感知、策略生成与防控标准动态更新; 6. 参与大模型训练、微调、推理优化及部署全流程,提升模型在真实业务中的泛化能力与稳定性。

1. 负责内容安全领域的大模型算法研发与落地,构建面向国际及国内多场景(如商品审核、社区内容、广告等)的智能识别与风险防控体系; 2. 设计并实现基于大模型的自动化审核系统,提升审核效率与准确率,支持高并发、低延迟的在线服务; 3. 负责商品治理领域的风险防控算法研发与落地,面向数十亿级商品库,构建覆盖假货、侵权、山寨、劣质、滥发等核心场景的智能识别体系,通过大模型驱动的内容理解、行为建模与知识推理技术,提升风险识别准确率与自动化处置能力,保障消费者购物体验与权利人平台权益,支撑电商生态健康可持续发展; 4. 探索大模型在内容理解、行为建模、团伙识别、跨语言语义分析等方向的应用,推动从传统规则/小模型向知识驱动AGI范式的演进; 5. 构建可解释、可迭代的知识生产闭环,支撑风险感知、策略生成与防控标准动态更新; 6. 参与大模型训练、微调、推理优化及部署全流程,提升模型在真实业务中的泛化能力与稳定性。