阿里云研究型实习生 - 智能多模态向量索引架构研究

RAG（Retrieval-Augmented Generation）检索增强生成技术伴随着LLM技术爆发迅速发展，广泛应用于文档问答、智能客服、技术支持等实际业务场景。 在上述场景中，除了纯文本内容效果已经发展到一定水平，图片、表格、代码等多模态的内容的RAG还处于比较初级阶段，目前技术很难解决实际业务问题。 多模态RAG效果重要的效果瓶颈之一在于多模态检索技术，如何将多模态信息统一表征到同一个向量化空间中，结合向量检索技术提升多模态检索效果是很有挑战的问题。 除了上述场景，多模态RAG通过和音频、视频等模态的结合，必定还有更多的业务场景可以挖掘。

随着GPT-4o等全模态大模型的突破，多模态生成与交互技术正成为人工智能领域的核心竞争方向。但当前技术在多模态深度理解、长序列生成一致性、跨模态对齐精度、实时交互智能性等方面仍面临显著挑战。 本项目聚焦音频、视觉、文本的多模态融合场景，针对长序列生成、强化学习优化、跨模态推理、表征学习等关键技术进行攻关，旨在构建具备深度思考能力、高可控性、强交互性的新一代智能多模态系统，推动AI技术在音乐创作、实时对话、音视频生成等领域的产业化应用。

1. 探索多模态大模型的高效训练，包括预训练、SFT、及RLHF等技术； 2. 探索高效的视觉编码器结构、对齐范式、训练策略、数据清洗、质量分级、数据合成等； 3. 探索原生多模态大模型的架构与训练范式； 4. 探索图像、视频、音频的全模态大模型； 5. 结合淘天业务，推动多模态大模型在搜索、推荐、广告等业务中的应用。

随着大模型能力的增强，Agent在各个领域取得了显著进步，智能体正逐步实现复杂任务的自动化。然而，在面对多步骤决策和长Inference链路任务时，智能体常常显得力不从心，难以优化全局规划与执行效率。提升智能体的规划能力成为智能体研究中的重要方向。 智能体规划能力增强技术旨在通过优化Planning的路径选择、决策树构建和计划执行，来提升智能体在复杂环境中完成任务的能力。该技术结合强化学习（Reinforcement Learning）和启发式搜索（Heuristic Search）等方法，力求实现智能体的自主决策与学习，从而在动态和不确定环境中表现出更加智能和高效的行为。 在智能体规划能力增强与研究领域，目前面临的主要挑战包括：复杂环境中的多步骤任务规划、多模态信息的综合处理、实时动态调整和优化策略等。为解决这些问题，本Project将深入探索智能体的规划算法与能力增强技术，提出具有更高效率和鲁棒性的解决方案。