夸克算法实习生-多模态推理与agent（研究型）

团队介绍：团队聚焦多模态模型、大语言模型、扩散模型的基础研究和前沿探索，可提供充足显卡资源和专业技术指导。 岗位描述： 1. 多模态模型和扩散模型的研究，包含但不限于文本、图像的跨模态对齐和AIGC内容生成； 2. 大语言模型的前沿探索，包括但不限于SFT和RLHF算法、CoT、Hallucination、Agent等领域的探索与研究； 3. 大模型的效率研究，包括但不限于大模型的量化、蒸馏、训练与推理加速。

研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等

研究领域： 人工智能 项目简介： 蚂蚁国际当前处于全球化和AI规模化应用的战略关键节点中，为支持多条业务线的业务规模化增长，蚂蚁国际风控致力于AI的创新及其在风控场景的应用。应用场景包括但不限于基于多智能体的风控决策系统， Deepfake识别，风控深度推理大模型等解决实际业务痛点。团队鼓励创新，勇于探索及突破前沿AI能力边界。 1.负责foundation model和生成式AI智能体构建，追踪业界文本生成、思维学习、内容理解等方向的最新技术，极致优化预训练、微调、领域知识注入、RLHF、RM、AI可解释能力。 2.负责AI技术前沿技术跟踪、创新和落地，例如，利用意图理解、图文理解等构建新一代的生成式审核机器人与辅助系统，运用反馈标注、知识体系建设、知识图谱构建等任务；利用多模态技术对图像、文本、结构化数据进行融合学习，致力于挖掘风控场景问题并全面提升风险运营效率，并帮助实现对合规、欺诈、洗钱等风险的高效管控。 3.深入跟踪调研前沿技术方向 ，包括但不限于 NLP/CV/多模态/智能体等，并适时进行技术分享。推动相关领域技术创新，进行专利申请和学术文章发表，产出至少一篇CCF-A以上论文。

研究领域： 人工智能 项目简介： 【攻击】蚁鉴作为蚁天鉴大模型安全一体化解决方案的重要组成部份之一，聚焦于大语言模型潜在输出内容安全的主动挖掘和模型安全能力的量化评测。随着大模型的应用场景不断扩增，使用场景不断多样化，模态增加，agent组件增加，其暴露出来的潜在风险问题也随之扩大。我们希望通过建立一套自动化选件红队体系，挖掘更多的风险，研发更高攻击成功率的方法。从而更快，更全面地发现风险，评估风险，解决风险。当前评测遇到挑战： 1、如何批量的自动发现扫描未知的安全风险； 2、多模态agent 大模型安全评测方案设计； 3、如何对非API的复杂智能体（例如支小宝）进行评测； 4、大模型其他安全问题的研究，例如：能耗攻击，后门，可解释性等； 【防御】大模型对齐作为蚁天鉴安全护栏核心能力之一，对于不安全或者有攻击性的query，在response的价值观等安全性方面往往能表现出更加优秀的性能，在安全链路中发挥着及其重要的作用。 然而，内容安全大模型依然存在大模型的不足： 1. 与语言模型相比，多模内容安全大模型在内容的理解和生成存在许多跨域风险的理解与对齐问题。 2. 幻觉问题，对于一些低频知识依然存在幻觉，特别是在涉政场景，幻觉问题的影响会被放大。 3. 模型难以可控生成，对于一些紧急badcase修复和业务调整依然需要大量数据重新训练成本较高，无法进行及时高效地局部模型知识更新。 4. 推理模型安全性研究与防控。