阿里巴巴淘天算法技术-相关性多模态大模型算法工程师-北京/杭州*

1.负责多模态大模型（图文、视频）在红点推送、本地生活推荐等业务场景中的技术探索与落地应用，提升内容生成精准度和用户转化效率； 2.结合业务数据特点，优化多模态模型的后训练、领域微调、生成控制等技术，实现文案创意生成、个性化推荐、分发策略联动的闭环优化； 3.深入理解用户行为和场景需求，探索多模态生成模型与推荐系统的深度融合，提升内容触达的实时性和相关性。

淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队。我们的任务是通过持续研发高效、精准的搜索算法，以提升用户的在线购物体验和满意度，进而推动电商平台的商业成功。这一关键角色中，您将参与淘宝搜索功能的核心算法研究，特别是专注于搜索相关性领域和AI搜创新领域。该职位要求理解搜索引擎的工作原理，在深度语义相关性模型、大语言模型、多模态技术等技术方面有突出贡献。作为团队的核心成员，您将不仅要在您的直接工作领域推动技术突破，还要与其他方向的团队（包括召回、排序、机制等）进行全链路联动，共同推进搜索算法的整体优化。 1. 负责大语言模型和多模态大模型在电商内容生成场景的算法研发，包括但不限于进行指令微调（Supervised Instruction Tuning），以增强模型遵循指令生成特定格式和风格内容的能力 。 2. 运用生成式AI技术，为搜索结果页的商品自动生成富有吸引力的标题、精准的卖点摘要，并探索文生图等多模态技术以创造全新的商品展示图像。 3. 建立科学的内容质量与业务效果评估体系，负责对算法模型进行评估和改进，通过A/B实验等方式量化分析生成内容对业务指标的影响，持续推动算法创新与迭代。 4. 与产品、工程及业务团队紧密合作，深刻理解业务需求，推动算法技术转化为实际的产品解决方案，确保技术成功落地。 5. 跟踪并研究大模型领域的前沿技术进展，结合业务需求制定研发方案，探索AI Agent、RAG等技术在电商搜索场景的创新应用。 我们提供 1. 高空间的舞台： 真实、海量、复杂且高价值的业务场景，让你的技术才能得到最大程度的发挥。 2. 前沿的技术挑战： 直接参与定义下一代AI搜索，与行业顶尖人才共同攻克最具挑战性的技术难题。 3. 充足的资源支持： 丰富的计算资源与数据资产，以及鼓励创新和试错的文化氛围。 4. 清晰的成长路径： 完善的职业发展体系和技术晋升通道，支持个人在技术深度和业务广度上的持续成长。

1.跟进多模态大模型 (VLLM)预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下，CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5. 多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。

团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行“激发生意新可能”理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题背景 在广告营销领域，智能客服系统正成为优化售前用户沟通的关键工具，商家亟需高效工具来减少人工依赖、提升转化效率。背景核心在于：广告营销的售前场景涉及复杂用户交互（如产品咨询、促销引导和留资获取），当前基于 LLM 的智能客服 Agent 系统采用 “规划 + 生成” 的架构，需完成从用户进线、诉求澄清到方案执行的全流程服务。然而，随着广告市场的动态变化和个性化需求增长，传统方法面临响应相关性不足、转化率瓶颈等问题。团队正聚焦于利用 LLM 后训练技术（如微调和强化学习），结合 RAG、CoT 蒸馏等手段，构建一套高适配性的 Agent 系统，以实现智能化用户沟通 —— 帮助商家自动促成订单或获取高质量线索，最终提升广告营销的 ROI 和用户体验。这一方向不仅是业务增长的核心驱动力，也是推动大模型在广告领域落地的关键创新。 课题挑战 本课题面临多重技术与业务挑战，需要人才在 LLM-Agent 架构下突破瓶颈，确保智能客服在广告营销场景中的高可靠性、高效性和合规性。具体挑战包括： 1）对话流程控制：售前咨询需通过多轮交互引导用户留资或促成订单，亟需优化 Agent 的决策能力。这要求强化planning的识别能力和action选择的准确性，需要引入 SOP 构建、CoT蒸馏、react与反思机制等，实现上下文一致性与业务目标达成。另外也需要构建合理的reward指标，应用DPO/RL等手段进一步提升模型决策能力； 2）回复质量与幻觉：售前咨询的回复模型需要在少量标注数据下产出高质量的训练数据，应用大模型微调SFT、CoT蒸馏提升在各个行业上的话术质量和回复满意度。应用RAG、知识图谱等能力构建高质量知识库，在线时通过精确知识点匹配解决冷启动与幻觉问题，提升用户体验； 3）个性化问题：目前传统智能客服对于不同用户的接待基本都是相同的，售前客服需要考虑不同用户的兴趣点，通过引入用户特征、构建长期memory等手段，为用户构建定制化的接待方案，提高用户满意度并促成留资或者订单等业务指标提升； 4）实时性能瓶颈：系统需处理高并发请求，但大模型的推理延迟和资源消耗可能影响用户体验。这要求研究模型压缩、量化技术、推理模型的cot加速等方向以优化部署效率。 研究方向：大语言模型。