阿里巴巴多模态大模型工程师-多模态AI搜索
任职要求
1. 计算机、人工智能、数学、统计学等相关专业，硕士/博士优先； 2. 熟悉Python和PyTorch，具备较强的代码与实验能力； 3. 熟悉多模态大模型，理解主流LLM/MLLM基础架构，有SFT…
工作职责
参与阿里云MaaS平台多模态AI搜索系统的核心算法研发，致力于打造行业领先的下一代智能搜索体验，构建新一代跨模态检索引擎与智能问答体系，赋能云上企业客户与生态开发者。 你需要参与以下一个或多个方向的工作： 1、多模态表征与排序模型优化：参与研究和开发业界领先的多模态表征模型与重排序模型，提升海量图文、视频等多模态数据检索在复杂业务场景下的准确性与相关性； 2、多模态检索增强生成（mRAG）链路优化：参与实际场景的多模态RAG链路的核心算法攻坚，包括多模态Query理解、跨模态意图识别、复杂文档解析（如PDF/图表混合检索）及最终的多模态内容生成； 3、长视频理解模型优化：参与研发高效的长视频搜索范式，攻克超长序列下的长程依赖难题，提升模型对视频深层语义的捕捉能力及复杂场景下的视频问答质量。落地的核心目标与指标。
部门介绍 图像与多模态实验室致力于构建涵盖语言、视觉、语音等多种模态的基础模型，支持多模态感知、理解、推理、生成与编辑等核心任务。我们的目标是为模型应用提供世界一流的基础模型保障，推动从纯语言任务到多模态任务的拓展，并实现从数字世界到物理世界的深度融合。 岗位职责及目标 1、探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化； 2、探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成； 3、探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力； 4、探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能；
1、了解多模态内容生成相关算法，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、了解端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地。
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
1. 负责音频生成大模型研发（文生音频、音频编辑、音色克隆、音效合成等），产出高保真、可控的生成方案并推动落地； 2. 研发音频理解大模型，构建跨模态（文本、图像、视频与音频联合）的细粒度音频内容描述体系； 3. 搭建大规模多源通用音频数据集（音乐、语音、环境声等），支撑模型持续迭代； 4. 推动音频大模型在业务场景中落地，解决推理效率、可控性、实时性等工程问题； 5. 跟进行业前沿，保持团队在通用音频大模型领域的技术领先。