阿里云研究型实习生 - 智能多模态向量索引架构研究

RAG（Retrieval-Augmented Generation）检索增强生成技术伴随着LLM技术爆发迅速发展，广泛应用于文档问答、智能客服、技术支持等实际业务场景。 在上述场景中，除了纯文本内容效果已经发展到一定水平，图片、表格、代码等多模态的内容的RAG还处于比较初级阶段，目前技术很难解决实际业务问题。 多模态RAG效果重要的效果瓶颈之一在于多模态检索技术，如何将多模态信息统一表征到同一个向量化空间中，结合向量检索技术提升多模态检索效果是很有挑战的问题。 除了上述场景，多模态RAG通过和音频、视频等模态的结合，必定还有更多的业务场景可以挖掘。

随着GPT-4o等全模态大模型的突破，多模态生成与交互技术正成为人工智能领域的核心竞争方向。但当前技术在多模态深度理解、长序列生成一致性、跨模态对齐精度、实时交互智能性等方面仍面临显著挑战。 本项目聚焦音频、视觉、文本的多模态融合场景，针对长序列生成、强化学习优化、跨模态推理、表征学习等关键技术进行攻关，旨在构建具备深度思考能力、高可控性、强交互性的新一代智能多模态系统，推动AI技术在音乐创作、实时对话、音视频生成等领域的产业化应用。

随着大语言模型（LLM）在搜推广领域的深入应用，如何高效地将海量商品/内容信息与世界知识结合，成为突破推荐算法上限的关键。 本岗位重点探索生成式推荐中的核心基础设施——语义ID（Semantic ID）的构建。致力于解决现有ID体系维度单一、表达受限的问题，探索语义ID更丰富的兴趣表达。 具体职责： 1. 前沿跟进：研究生成式推荐前沿技术，快速跟进RecSys/KDD/SIGIR/ACL等顶会最新论文，探索语义ID与LLM的更佳的应用范式，并且在实际业务数据上验证。 2. 多兴趣表征：深入研究协同&多模态语义协作机制，探索多兴趣表征构建，，解决多维兴趣样本在训练过程中的Loss拉扯问题，探索基于图或对比学习等改进方案，构建更稳健的Item-to-Token映射机制。 3. 多兴趣语义ID：突破现有层级化方案（如RQ-VAE/RQ-Kmeans）仅能进行单一维度（如类目或单兴趣）表达的局限，将多兴趣表征进行量化。 4. 生成式LLM赋能：将构建的多兴趣语义ID应用于推荐场景的生成式大模型（LLM）训练中，降低训练/推理成本，提升模型对用户复杂行为序列的理解与生成能力。 5. 技术沉淀：负责实验数据的分析与整理，撰写技术报告；若产出具有创新性的研究成果，支持以第一作者身份发表顶级会议论文或申请专利。

1.多模态大模型应用研发：基于多模态大模型（MLLM）强大的世界知识与推理能力，研发复杂场景下的主体识别算法，精准定位视频/图文中的核心主体（如开箱商品、主推款），解决遮挡、多实例干扰等难题。 2.细粒度语义对齐与表征学习： 构建统一的多模态表征空间，负责封面、视频、商品图文之间的细粒度语义对齐，提升跨模态检索与粗筛的召回率。 3.判别模型设计： 设计具备“Thinking with Images”能力的判别式大模型，实现对“挂错品”、“封面党”等高阶语义偏差的精细化验证，并探索模型的可解释性（输出决策依据）。 4.模型蒸馏与落地： 参与大模型到轻量化小模型的知识蒸馏（Model Distillation）工作，设计表征-判别联合蒸馏框架，在保障算法精度的同时满足线上业务的高吞吐与低延时需求。 5.前沿技术探索： 跟踪CV、NLP及多模态领域的SOTA技术，结合业务场景进行创新，有机会将成果发表在CVPR、ICCV、ECCV等顶级会议上。