阿里云研究型实习生 - 多模态数据湖仓检索分析
任职要求
1、扎实的工程能力，优良的编程风格，熟悉C++/Java语言和常用设计模式，具备复杂系统的设计开发调试能力； 2、优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心； 3、熟悉计算机体系结构基础知识，有扎实的操作系统和数据库系统理解和相关研究经验。 加分项： 1、有突出的学术背景和创新研究能力； 2、对向量数据存储和索引场景的系统优化或前沿算法有深入务实的经验； 3、具有大数据和分布式数据库系统的开发和优化经验。
工作职责
专注于数据湖场景下向量化和多模态数据存储和分析系统的研究、探索和开发，具体职责包括： 1、探索和研究高效可扩展的向量索引和分级存储算法，支持超大规模向量数据存储和检索； 2、探索和研究高性能的多模态数据检索和查询算法，支持大数据AI一体化场景下的融合分析； 3、分析现有向量索引算法和典型负载的性能瓶颈，提出并实现创新的优化技术； 4、结合阿里云Milvus和EMR 产品服务，提供可靠高效的向量存储和检索方案，支持不同行业和规模的客户场景； 5、面向数据湖仓场景构建业界领先的多模态数据查询分析解决方案。
随着数据量的爆炸性增长以及业务复杂性的增加，诸如图、文档、时空、时序等非结构化数据类型规模和价值都越发重要。需要研究更有效率的非结构化数据的处理、存储、分析的技术，尤其是与结构化数据融合进行分析的手段，将来自不同来源、格式、结构或模型的数据整合到一个统一的系统中，以实现数据共享、分析和决策支持。 我们的研究内容包括： 1. GPU加速的多模态数据处理，如fts、向量检索以及索引建立。GPU高效池化以及远程GPU调用，查询算子以及后台数据重整任务的高效远程GPU卸载； 2. 非结构化数据，如json、文档等自动语义发现与解析、数据模式匹配与语义对齐、对象关联分析。结合NLP等技术，实现从原始数据到结构化语义的高效转化； 3. OLTP高效入湖。结合数据湖的灵活性（存储非结构化数据）与数据仓库的结构化管理能力（如ACID、事务支持、元数据管理），通过存储层创新、计算引擎优化和云原生技术，实现不同业务的高效协同。
【职位描述】 我们是小红书安全风控平台部/算法策略组/内容安全组，目前专注于多模态大模型在多模态理解和内容安全场景的技术落地和产品预研，目前在相关数据&技术方向有一定的积累，并将长期持续投入。我们希望寻求优秀在读硕士生/博士生共同突破大模型在安全审核行业落地的技术挑战，作为实习生，你将有机会与产品、工程紧密合作，将研究算法应用到实际问题中，并解决有难度有价值的问题，促进领域前沿技术的发展。欢迎投递简历。该岗位的核心研究方向包括但不限于： 1. 基础多模态表征：主要研究小红书多模态数据（笔记）下的基础多模态表征工作，包括层次化表征、特征融合、自监督探索等，作为基础模型，支持多样化检索场景。 2. 通用多模态大模型：通用多模态大模型在安全领域理解相关研究，包括高效微调、多模态理解等。建立安全多模态基础模型。
当前，大规模模型正逐步向多模态方向发展。尤其是随着SORA、GPT-4o模型的问世，其热度达到了空前的水平。目前，业界已经发布了众多多模态模型，例如：CLIP、LLaVA、Qwen-VL、Qwen-VAL、DeepSeek-VL、AnyMAL、Claude3、GPT-4v、GPT-4o、Gemini1.5、Chameleon等。多模态模型的迅速发展，也带来了新的挑战，对训练框架的效率要求越来越高： 1、不同模态数据的异质性：不同模态（如图像、文本、音频、视频）有各自的编码器（encoder）和解码器（decoder），这对计算资源、显存和通信带宽的需求各不相同。训练框架需要能够适配不同模态的特点，实现高效调度和优化。 2、数据的多样性：处理的数据模态类型多样化（如纯文本、文本+图像、文本+音频、文本+视频+音频等），且模态内的数据也可能动态变化。例如，图像的数量和大小，音频的长度等都可能不同。 现有的训练框架和并行策略已经无法很好地满足当前多模态大模型的训练需求。因此，迫切需要对现有框架进行改进和优化，以支持多模态模型的高效训练。本项目将着眼于以下几个层面技术，以解决上述特性带来的挑战，提升多模态大模型训练效率： 1、多模态场景并行策略研究，以PP为例，当前的PP并行策略都是按layer粒度均分，但多模态间的异构性会给PP并行提出更高的要求，多模态场景下不同模态的计算、显存需求不同。需要打破layer级别的粒度，支持细粒度PP划分和调度，探寻更高效的PP并行策略。 2、动态长序列场景高效训练技术研究，多模态场景总序列长度会比llm场景长很多，并且不同模态的seq len长度还是动态，在动态长序列场景怎么进行高效训练。
随着多模态音频大模型（如GPT-4o）的突破性发展，语音交互与音视频生成技术已成为AI领域的前沿阵地。当前技术面临实时性-生成质量权衡（如思维链机制引入导致推理时延显著增加）及可控性-鲁棒性不足（如时序同步性差、跨模态数据依赖性强）的双重挑战。本项目聚焦音频对话生成效率优化与多模态可控合成技术，重点攻克Test-Time-Scaling曲线建模（动态CoT启动、关键词压缩、隐状态连续表征）、扩散-语言模型融合架构设计、音视频统一生成等核心问题，旨在突破长序列推理效率瓶颈并增强跨模态对齐能力，推动智能语音助手、沉浸式媒体交互等场景的高效可控生成。