阿里巴巴研究型实习生 - 智能多模态向量索引架构研究

我们是阿里妈妈搜索广告算法团队，负责淘宝搜索场景广告技术变现的算法设计和优化，包括并不限于： 1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速； 6. 负责研究经典CV/多模态任务的设计和优化，包括分类、检测、OCR、度量学习等。

1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型、预估模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速；

依托淘宝、天猫超大规模商业场景，我们致力于通过最前沿的多模态大模型技术驱动万亿级交易额的增长。在这里你将面对业界最复杂的电商图文、视频语境，与顶尖团队一起探索 AIGC 与多模态技术在搜索广告全链路（召回、排序、创意生成）的深度融合与变现。包括并不限于： 1. 负责电商多模态统一表征： 构建面向海量商品、直播、短视频的超大规模预训练模型（VLM），解决多模态语义对齐、细粒度特征提取及跨模态检索难题。 2. 负责生成式广告物料（AIGC）： 探索 Diffusion Model、LLM 在广告创意自动生成（文案、头图、视频步进）中的应用，提升物料投放质量与点击转化率。 3. 负责多模态驱动的商业决策： 将多模态感知能力深度注入广告全链路（从搜索词理解到广告 CTR/CVR 预估），实现从“看懂图片”到“理解意图”的决策升级。 4. 负责全链路多物料优化： 针对商品、直播间、短视频等多类型物料，设计统一的跨模态排序算法，优化搜索场景下的多元流量分配效率。 5. 负责视觉底层技术创新： 针对电商复杂场景，优化 OCR、商品检测、度量学习及视觉搜索等经典任务，建立行业领先的视觉基座。

1.多模态大模型应用研发：基于多模态大模型（MLLM）强大的世界知识与推理能力，研发复杂场景下的主体识别算法，精准定位视频/图文中的核心主体（如开箱商品、主推款），解决遮挡、多实例干扰等难题。 2.细粒度语义对齐与表征学习： 构建统一的多模态表征空间，负责封面、视频、商品图文之间的细粒度语义对齐，提升跨模态检索与粗筛的召回率。 3.判别模型设计： 设计具备“Thinking with Images”能力的判别式大模型，实现对“挂错品”、“封面党”等高阶语义偏差的精细化验证，并探索模型的可解释性（输出决策依据）。 4.模型蒸馏与落地： 参与大模型到轻量化小模型的知识蒸馏（Model Distillation）工作，设计表征-判别联合蒸馏框架，在保障算法精度的同时满足线上业务的高吞吐与低延时需求。 5.前沿技术探索： 跟踪CV、NLP及多模态领域的SOTA技术，结合业务场景进行创新，有机会将成果发表在CVPR、ICCV、ECCV等顶级会议上。