阿里巴巴智能算法产品事业部-相关性多模态大模型算法工程师-北京/杭州
任职要求
基本要求： 1. 计算机、人工智能、电子信息、数学等相关专业硕士及以上学历，博士优先；3年以上相关工作经验。 2. 具备扎实的机器学习/深度学习理论基础，精通Python编程，熟练使用PyTorch/TensorFlow等至少一种深度学习框架。 3. 对大语言模型（LLM）和多模态大模型（MLLM）有深入理解，熟悉Transformer、Attention机制等核心原理，具备LLM/MLLM（如LLaVA, Qwen-VL, GPT-4V等）的Finetune、Prompt Engineering、RAG（检索增强生成）等方面的实际项目经验。 4. 在以下至少一个领域有深厚的实践经验：搜索、推荐、自然语言处理（NLP）、计算机视觉（CV）。 5. 具备优…
工作职责
淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队。我们的任务是通过持续研发高效、精准的搜索算法，以提升用户的在线购物体验和满意度，进而推动电商平台的商业成功。这一关键角色中，您将参与淘宝搜索功能的核心算法研究，特别是专注于搜索相关性领域和AI搜创新领域。该职位要求理解搜索引擎的工作原理，在深度语义相关性模型、大语言模型、多模态技术等技术方面有突出贡献。作为团队的核心成员，您将不仅要在您的直接工作领域推动技术突破，还要与其他方向的团队（包括召回、排序、机制等）进行全链路联动，共同推进搜索算法的整体优化。 1. 核心模型研发与创新： 负责淘宝主搜的核心算法研发，主导设计和优化面向电商场景的相关性大模型。重点投入Agentic Search、多模态（文图、视频）相关性、AI生成式搜索等前沿方向，从模型层面根本性地提升搜索相关性、用户体验和商业效率。 2. 电商知识资产构建： 主导构建电商领域的高质量多模态数据飞轮。通过知识库建设、主动学习、数据挖掘和智能标注等手段，持续迭代和优化数据质量，为大模型的训练和迭代提供核心“燃料”，沉淀公司级的电商知识数据资产。 3. 用户体验洞察与度量： 深入理解和洞察电商搜索场景下的用户意图与行为模式，建立并完善一套科学的、数据驱动的搜索体验分析与评估方法论。以量化指标和用户反馈指导模型迭代方向，确保技术创新最终服务于用户价值。 4. 前沿技术探索与应用： 密切追踪LLM（大语言模型）、MLLM（多模态大模型）、NLP、AIGC等领域的最新技术进展。快速进行技术预研、验证，并将其创造性地应用于电商搜索业务中，解决实际问题。在应用基础上进行技术创新，鼓励发表高水平论文、申请技术专利，构建团队在行业内的技术影响力。 我们提供 1. 高空间的舞台： 真实、海量、复杂且高价值的业务场景，让你的技术才能得到最大程度的发挥。 2. 前沿的技术挑战： 直接参与定义下一代AI搜索，与行业顶尖人才共同攻克最具挑战性的技术难题。 3. 充足的资源支持： 丰富的计算资源与数据资产，以及鼓励创新和试错的文化氛围。 4. 清晰的成长路径： 完善的职业发展体系和技术晋升通道，支持个人在技术深度和业务广度上的持续成长。
淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队。我们的任务是通过持续研发高效、精准的搜索算法，以提升用户的在线购物体验和满意度，进而推动电商平台的商业成功。这一关键角色中，您将参与淘宝搜索功能的核心算法研究，特别是专注于搜索相关性领域和AI搜创新领域。该职位要求理解搜索引擎的工作原理，在深度语义相关性模型、大语言模型、多模态技术等技术方面有突出贡献。作为团队的核心成员，您将不仅要在您的直接工作领域推动技术突破，还要与其他方向的团队（包括召回、排序、机制等）进行全链路联动，共同推进搜索算法的整体优化。 1. 负责大语言模型和多模态大模型在电商内容生成场景的算法研发，包括但不限于进行指令微调（Supervised Instruction Tuning），以增强模型遵循指令生成特定格式和风格内容的能力 。 2. 运用生成式AI技术，为搜索结果页的商品自动生成富有吸引力的标题、精准的卖点摘要，并探索文生图等多模态技术以创造全新的商品展示图像。 3. 建立科学的内容质量与业务效果评估体系，负责对算法模型进行评估和改进，通过A/B实验等方式量化分析生成内容对业务指标的影响，持续推动算法创新与迭代。 4. 与产品、工程及业务团队紧密合作，深刻理解业务需求，推动算法技术转化为实际的产品解决方案，确保技术成功落地。 5. 跟踪并研究大模型领域的前沿技术进展，结合业务需求制定研发方案，探索AI Agent、RAG等技术在电商搜索场景的创新应用。 我们提供 1. 高空间的舞台： 真实、海量、复杂且高价值的业务场景，让你的技术才能得到最大程度的发挥。 2. 前沿的技术挑战： 直接参与定义下一代AI搜索，与行业顶尖人才共同攻克最具挑战性的技术难题。 3. 充足的资源支持： 丰富的计算资源与数据资产，以及鼓励创新和试错的文化氛围。 4. 清晰的成长路径： 完善的职业发展体系和技术晋升通道，支持个人在技术深度和业务广度上的持续成长。
1.多模态大模型应用研发：基于多模态大模型（MLLM）强大的世界知识与推理能力，研发复杂场景下的主体识别算法，精准定位视频/图文中的核心主体（如开箱商品、主推款），解决遮挡、多实例干扰等难题。 2.细粒度语义对齐与表征学习： 构建统一的多模态表征空间，负责封面、视频、商品图文之间的细粒度语义对齐，提升跨模态检索与粗筛的召回率。 3.判别模型设计： 设计具备“Thinking with Images”能力的判别式大模型，实现对“挂错品”、“封面党”等高阶语义偏差的精细化验证，并探索模型的可解释性（输出决策依据）。 4.模型蒸馏与落地： 参与大模型到轻量化小模型的知识蒸馏（Model Distillation）工作，设计表征-判别联合蒸馏框架，在保障算法精度的同时满足线上业务的高吞吐与低延时需求。 5.前沿技术探索： 跟踪CV、NLP及多模态领域的SOTA技术，结合业务场景进行创新，有机会将成果发表在CVPR、ICCV、ECCV等顶级会议上。
随着大语言模型（LLM）在搜推广领域的深入应用，如何高效地将海量商品/内容信息与世界知识结合，成为突破推荐算法上限的关键。 本岗位重点探索生成式推荐中的核心基础设施——语义ID（Semantic ID）的构建。致力于解决现有ID体系维度单一、表达受限的问题，探索语义ID更丰富的兴趣表达。 具体职责： 1. 前沿跟进：研究生成式推荐前沿技术，快速跟进RecSys/KDD/SIGIR/ACL等顶会最新论文，探索语义ID与LLM的更佳的应用范式，并且在实际业务数据上验证。 2. 多兴趣表征：深入研究协同&多模态语义协作机制，探索多兴趣表征构建，，解决多维兴趣样本在训练过程中的Loss拉扯问题，探索基于图或对比学习等改进方案，构建更稳健的Item-to-Token映射机制。 3. 多兴趣语义ID：突破现有层级化方案（如RQ-VAE/RQ-Kmeans）仅能进行单一维度（如类目或单兴趣）表达的局限，将多兴趣表征进行量化。 4. 生成式LLM赋能：将构建的多兴趣语义ID应用于推荐场景的生成式大模型（LLM）训练中，降低训练/推理成本，提升模型对用户复杂行为序列的理解与生成能力。 5. 技术沉淀：负责实验数据的分析与整理，撰写技术报告；若产出具有创新性的研究成果，支持以第一作者身份发表顶级会议论文或申请专利。
负责主搜供给与机制算法，通过设计合理流量机制策略，建立商家、平台和消费者三赢的商业体系。方向包括但不限于： 1. 供给机制：新品冷启优化淘宝亿级新品的冷启打爆链路，通过满足用户新品需求带来大盘增量。技术包括潜力预估、流量规划、多级流量池助推等。商品速爆构建从选品反向招商到速爆的链路，通过机制撬动供给价格力带来大盘增量。技术包括品规挖掘、同款比价、Debias预估、欠曝品助推、Listwise聚单等。 2. 供给生态：通过优化价量模型与诊断反馈模型的准确性，达成用户价值和商家经营确定性的双赢。技术包括时序建模、因果推断、组合优化、MLLM等。 3. 调控算法：优化调控目标完成率/折损兑换比的机制系统，技术包括过欠曝预估、在线学习、请求级IPW预估、整页价值预估与生成等。 4. 长尾预估：优化无少行为商品预估准度，提升模型对长尾商品的泛化能力。技术包括域迁移、GNN、多模态、伪样本、大模型Agents等。 5. 供给链路：优化供给与机制独立通路，从平台视角综合考虑供给打爆与机制收益与损失。技术包括供给独立通路升级、混排LTR、供给价值与孵化损失预估等。