蚂蚁金服研究型实习生-多模态大模型轻量化

1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。

【职位描述】 我们是小红书安全风控平台部/算法策略组/内容安全组，目前专注于多模态大模型在多模态理解和内容安全场景的技术落地和产品预研，目前在相关数据&技术方向有一定的积累，并将长期持续投入。我们希望寻求优秀在读硕士生/博士生共同突破大模型在安全审核行业落地的技术挑战，作为实习生，你将有机会与产品、工程紧密合作，将研究算法应用到实际问题中，并解决有难度有价值的问题，促进领域前沿技术的发展。欢迎投递简历。该岗位的核心研究方向包括但不限于： 1. 基础多模态表征：主要研究小红书多模态数据（笔记）下的基础多模态表征工作，包括层次化表征、特征融合、自监督探索等，作为基础模型，支持多样化检索场景。 2. 通用多模态大模型：通用多模态大模型在安全领域理解相关研究，包括高效微调、多模态理解等。建立安全多模态基础模型。

当前，大规模模型正逐步向多模态方向发展。尤其是随着SORA、GPT-4o模型的问世，其热度达到了空前的水平。目前，业界已经发布了众多多模态模型，例如：CLIP、LLaVA、Qwen-VL、Qwen-VAL、DeepSeek-VL、AnyMAL、Claude3、GPT-4v、GPT-4o、Gemini1.5、Chameleon等。多模态模型的迅速发展，也带来了新的挑战，对训练框架的效率要求越来越高： 1、不同模态数据的异质性：不同模态（如图像、文本、音频、视频）有各自的编码器（encoder）和解码器（decoder），这对计算资源、显存和通信带宽的需求各不相同。训练框架需要能够适配不同模态的特点，实现高效调度和优化。 2、数据的多样性：处理的数据模态类型多样化（如纯文本、文本+图像、文本+音频、文本+视频+音频等），且模态内的数据也可能动态变化。例如，图像的数量和大小，音频的长度等都可能不同。 现有的训练框架和并行策略已经无法很好地满足当前多模态大模型的训练需求。因此，迫切需要对现有框架进行改进和优化，以支持多模态模型的高效训练。本项目将着眼于以下几个层面技术，以解决上述特性带来的挑战，提升多模态大模型训练效率： 1、多模态场景并行策略研究，以PP为例，当前的PP并行策略都是按layer粒度均分，但多模态间的异构性会给PP并行提出更高的要求，多模态场景下不同模态的计算、显存需求不同。需要打破layer级别的粒度，支持细粒度PP划分和调度，探寻更高效的PP并行策略。 2、动态长序列场景高效训练技术研究，多模态场景总序列长度会比llm场景长很多，并且不同模态的seq len长度还是动态，在动态长序列场景怎么进行高效训练。

研究领域： 深度学习 项目简介： 在商品领域风险/质量防控、信息抽取、素材优化、营销文案生成和人货匹配推荐等多个场景都依赖对商品的认知，传统的方法需要运营人工定义标签体系并收集大量的标注数据，多模态大模型可以在较少的人力投入和标注成本下实现更好的商品理解和生成，有很大的应用前景。