蚂蚁金服蚂蚁集团-大模型安全算法专家-杭州/上海
任职要求
1. 硕士及以上学历，计算机、电子信息、网络安全、人工智能等相关专业，具备扎实的机器学习与深度学习基础； 2. 具备大模型安全研究或多模态理解相关经验，熟悉 LLM/VLM/Agent 相关架构与安全问题者优先； 3. 熟悉 PyTorch、TensorFlow 等主流深度学习框架，具备模型设计、训练和优化实践经验； 4. 在机器学习、NLP、CV、人工智能安全等方向有顶会论文（NeurIPS/ICLR/ACL/CVPR 等）或算法竞赛（Kaggle/CCF/CTF 等）突出成绩者优先； 5. 有工程实现能力或网络安全攻防经验者加分，熟悉对抗攻击/防御、模型鲁棒性提升、安全评测体系者优先。
工作职责
1. 大模型攻击研究 ● 针对大语言模型（LLM）、多模态模型（VLM）、智能体（Agent）等开展安全性与幻觉问题研究，系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点； ● 设计并优化大模型对抗攻击算法，研究 Prompt 注入、自动化越狱策略与生成式数据增强方法，用于模拟实战攻击与安全性评估； ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库，支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制，开发 Prompt 过滤、上下文改写、敏感内容抑制等方法； ● 构建跨模态、多层次的安全防护框架，提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法，提升模型的内生安全能力； ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术，推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险，识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁； ● 设计 Agent 安全管控机制，包括权限控制、任务隔离、调用审计等，确保复杂场景下 Agent 的安全可控。
研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等
1. 负责蚂蚁信贷、财富、保险&银行等业务在安全场景的模型开发与优化； 2. 针对不同类型风险，设计有效的建模方案，完成模型的训练、部署和应用，并持续跟踪模型效果，不断迭代、优化； 3. 积极探索前沿AI技术在互联网金融风控场景的应用，并落地实践。
1、负责支付宝各场域（广告、短视频、直播、游戏、搜索、公私域等）的流量/营销作弊的感知、识别与管控相关的算法建设，减少恶意/无效/作弊流量给数据真实性、社区生态、平台流量价值带来的影响，保障平台营销资金的安全使用，有效地将业务问题转化为算法模型，提供合理的风险解决方案，提升流量价值，减少资金损耗； 2、与技术、产运配合建设通用高效的人机识别算法，并利用海量的设备和用户行为数据进行建模，对用户风险、质量及转化价值进行预估及分析；持续推进基于图、异常检测、社区检测、多模态算法等相关研究和工具的建设，服务高准可持续迭代的反作弊算法体系； 3、配合业务上下游进行流量质量保障，结合营销、推荐、用增、运筹优化相关算法及大模型、智能体等技术，带来业务效果和效率提升。
蚂蚁国际ASAP技术部正在寻找有激情并且具有创新能力的算法工程师，通过使用AI技术，推动蚂蚁国际化业务的发展。蚂蚁是一家AI驱动的公司，国际化是蚂蚁当前的重点方向，在这个职位上，你有机会接触到互联网金融、人工智能、国际化这3个当前最热门领域。 1.基于跨境支付、跨境游、境外合作钱包等国际业务场景及特点，设计搜索、推荐及营销引流等算法模型及策略，提升用户体验和转化效果，帮助用户增长及商家成长。 2.全面了解蚂蚁国际业务发展，提供基于机器学习、深度学习、联邦学习、大模型、运筹优化等算法方案解决复杂的实际业务问题。