通义研究型实习生-多模态通用和推理大模型后训练研究
任职要求
1. 计算机视觉、自然语言处理、人工智能等专业优秀在读博士； 2. 熟练掌握tensorflow、pytorch等至少一种主流深度学习框架，有复杂模型设计和建模经验； 3. …
工作职责
1. 模型多模态能力的提升，包括但不限于：物理世界细粒度视觉感知、空间感知、视频时序行为预测和推理、基于视觉的决策和规划； 2. 多模态数据的制作，包括：训练数据的收集、清理和标注，测试Benchmark的构建； 3. 多模态RL相关研究，包括通过RL提升模型常规感知能力和推理能力； 4. 多模态任务评测，包括：客观的Benchmark接入、OOD评测、以及主观评测。
研究领域： 人工智能 项目简介： 在大模型的国际化应用落地过程中，要解决几个核心的问题： 1. 大模型对于小语种的支持：在蚂蚁国际化场景中，既有中英文这样的大规模使用的语言，也有东南亚，欧洲，非洲等各的确相对较小语种的实际需求，这些小语种的语料相对而言获取难度高，也导致了大模型在应用落地过程中会遇到许多困难，探索一条高效可行的道路来扩充大模型对于小语种的支持是在业务和技术上都有着突破意义的工作 2. 大模型对于体验的支持：在模型的使用过程中，探索更好的用户体验需要进行相当的投入来保持对于体验的关注和不断尝试，既包括通过推理模型来提升模型回复能力，也包括通过长思考能力来提升问题解决的思路完备性，也可以借助于大模型的代码生成等推理能力来生成交互式界面，或者通过多模态模型来进行包括视频在内的AIGC等，在应用过程中有很多细节需要结合大模型基座进行优化 3. 模型可信：在金融场景中，模型回复的准确性和安全性至关重要，结合业务场景进行探索模型的grounding，知识注入和幻觉消除等工作
研究领域： 人工智能 项目简介： 大语言模型(LLM)和多模态大模型(MMLM)的发展为推荐系统带来了新的生机。相较于传统推荐模型依赖协同过滤信息进行建模，大语言模型因其强大的泛化和推理能力，可以更好地对物品、内容进行关联、分析用户行为和偏好，从而具备处理复杂场景中复杂用户行为的潜力。但同时，虽然大语言模型在理解和生成自然语言方面表现出色，但它们在处理推荐系统中数据稀疏、特征异构、训练和部署效率等方面仍存在众多挑战。本项目旨在对传统推荐模型、大语言模型甚至多模态大模型进行联合建模，以期取长补短，更有效地利用多模态异构信息，从而进一步提升推荐模型表现。 主要的挑战包括但不限于： 1. 大语言模型的编码效率问题：LLM的训练及推理成本随编码的信息量增加而快速膨胀，如何高效地对长用户行为序列进行多模态编码是联合建模相关探索的基础问题。 2. 多模态信息融合问题：物品、内容存在大量不同模态且异构的信息，如何有效地对多模态信息进行融合，是保障联合建模效果的重要问题。 3. 联合建模的模态差异化优化问题：不同模态在拟合速度、信息权重等方面存在天然差异，如何在联合建模过程中平衡和调节不同模块的优化是联合建模的难点。
研究领域： 人工智能 项目简介： 课题1：音视频细粒度理解与token压缩，负责人：默宸，HC数：1个 随着大模型时代的到来，图文领域的视觉Token压缩技术为复杂场景下的视觉理解提供了全新的解决思路。这种技术不仅能够有效减少冗余信息，还能保留关键语义特征，从而显著提升图像的细粒度理解能力，同时满足高时效性任务的需求。基于此，我们希望能够开展基于query牵引与信息密度的Token压缩算法研究，针对视频内容的特点，设计高效的压缩与理解方案，以推动视频审核算法的性能优化与实际落地。 课题2：基于规则动态化Token交互的高效视频理解与推理模型研究，负责人：夜兰，HC数：1个 本研究方向旨在探索一种基于多规则联合推理的高效视频理解模型，以解决视频理解任务中效率与精度的平衡问题。通过规则先验引导的视觉Token联合抽取，结合视觉Token压缩技术，显著减少冗余信息并优化计算效率。模型引入动态规则-Token对应机制，实现规则与视觉信息的高效联合提取，同时结合多任务学习框架，支持多种规则的统一推断与协同处理。该方案能够在保持高精度的同时显著提升推理速度，适用于视频内容多规则审核、视频账号行为识别和场景分类等高时效性任务，为实际应用场景提供高效、细粒度的视频理解解决方案。 课题3：视频开集信息检测和定位，负责人：默宸，HC数：1个 随着视频内容生态的爆发式增长，传统闭集检测方法在面对业务快速迭代需求时面临显著挑战，难以泛化至开放场景下的新概念检测，且时空定位精度与效率难以平衡。本研究致力于构建视频开集信息检测框架，通过多模态语义对齐与时空注意力机制，实现对任意指定内容的视频检索（包含时空定位）。该技术将推动视频审核从定制化开发向通用化检测转型。 课题4：隐式深度推理与动态步骤压缩的协同优化架构研究，负责人：侯猫/亘郁，HC数：2个 现有大语言模型在复杂推理任务中面临根本性效率瓶颈：基于Transformer的注意力机制导致计算复杂度随上下文长度呈二次增长，KV缓存存储开销线性增加。传统显式推理方法（如Chain-of-Thought）通过生成冗长中间步骤提升精度，却加剧了计算资源消耗；而隐式推理虽能压缩计算步骤，但存在推理路径不可控、状态迭代深度不足等缺陷。因此希望从融合动态步骤压缩与隐式深度推理的角度出发，不仅实现动态剪枝冗余中间思考步骤，同时通过隐状态迭代实现深度计算扩展，从而达到在保持/提升推理精度的同时，将复杂任务的计算负载降低5，突破现有模型在长文本生成与多跳推理中的效率天花板。
研究领域： 人工智能 项目简介： 近年来，大语言模型和多模态大模型的迅速发展解锁了众多应用场景，包括视觉指令跟随和长视频理解，最近的一些开源方法也已经在提升流式视频处理能力方面有所进展，但它们在交互流畅性和感知能力方面仍然存在不足。本项目旨在对流式视频理解和交互方向加大投入，在多模态大模型视觉内容理解、动态变化跟踪和精确时间对齐等方面进行算法创新，并尝试挖掘其对视频交互中风险动作和风险对话的识别能力，为依赖视频交互能力的各业务场景带来新的突破。