阿里巴巴1688-多模态Agent大模型算法-产业链Agentic AI
任职要求
1. 具备VLM/LLM/RL/Reasoning/Agent相关背景知识，熟悉主流VLM大模型算法架构，了解VLM的alignment常见方法，包…
工作职责
1. 负责多模态大模型在产业链场景中的算法设计、研发及优化，推动模型在电商Agent的意图识别、规划、工具调用、报告生成等多个业务环节的落地与效果提升； 2. Agent业务相关垂直领域模型 多模态agent 数据合成/后训练，后训练VLM为代表的Agent通用能力（如tool use, planning等）增强，增强工具链路调用、知识图谱推理、report生成能力； 3. 参与AI Agent产品的需求分析、技术选型、方案设计、用户体验提升等，发现算法提升对于AI Agent落地的价值，参与下一代AI agent产品打造；
团队简介： 我们是高德行中智能团队，我们的使命是基于高德海量高质的数据，最前沿的AI算法，最可靠的通用工程架构，打造有温度、有惊喜、科技感十足的下一代出行体验； 在这里，我们一起建设应对超大业务规模和场景，超高业务复杂度的高效、可靠、鲁棒的技术架构；一起用最前沿的机器学习、深度学习、AI算法探索智慧出行最具挑战性的行业难题；一起用最尖端的AIGC、LLM/LVM、多模态理解与生成技术；基于语音、视觉、位置等多模态信息搭建高吞吐、低时延、强智能、真人感的Agent体系，打造全新人和环境交互形态； 职位描述 探索下一代多模态出行体验 基于全双工多模态agent，构建人和环境的全新交互形态
1、团队依托千亿级视频内容和全球商品数据，探索NLP、CV、多模态大模型、Video LLM、Multimodal Embedding和SID、Multimodal Reasoning、Agent等技术在电商业务中的落地，支持商品库建设、商品同款识别、内容商品链接、价格比对、AIGC内容生成和生成式搜推技术演进等关键场景，我们的目标是通过多模态大模型和Agent技术，重新理解“卖什么、怎么卖、卖给谁”，重塑内容电商的业务想象力；参与全球商品库和内容理解体系建设，基于NLP、图像理解、多模态大模型等技术，对商品、视频、图文、商家、品牌等对象进行结构化理解和语义建模；负责商品同款、商品/商家/品牌消重、跨语言商品聚合等核心算法系统建设，解决海量数据下的多模态匹配、实时流式聚合、多粒度聚合和跨语言语义对齐问题； 2、负责电商比价、商品定价、价格监控和异常预警等算法能力建设，支持百亿补贴、价格竞争力分析、商品供给优化等重要业务场景，建设视频-商品、商品-商品、视频-视频等多模态语义链接能力，支持内容趋势理解、商品挖掘、AIGC内容生成和内容电商供给优化； 3、探索下一代生成式搜推模型的演进，通过视频、直播、商品、Query等多体裁的表征和SID建模，提升生成式搜推的效率和体验； 4、探索Agent在电商业务中的应用，包括比价Agent、商品分析Agent、内容AIGC Agent、商家运营Agent等方向，结合RAG、工具调用、规划推理、自动评估等能力，推动业务流程智能化，参与从数据到业务落地的全流程，包括数据构建、特征工程、模型训练、效果评估、线上部署、负面案例分析和持续迭代，并探索前沿技术在实际业务中的规模化落地。
Seed 大模型人才校招，是字节跳动 Seed 面向高校人才推出的招聘项目。我们始终相信，真正重要的技术进步来自对高难度问题的持续挑战。面对 AI 时代的巨大机遇，Seed 团队并不止步于模型迭代，而是选择进入技术深水区，推进下一代 AI 范式突破，不断探索智能的边界与上限。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed 团队在 AI 领域拥有长期愿景与决心，团队研究方向涵盖 MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE 等超过 50 个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包 App 用户量在中国市场排名第一，豆包大模型日均 Token 调用量行业领先。 1、探索构建GUI、Code、游戏等虚拟世界的通用多模态Agent； 2、探索研究多模态理解、生成式、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 3、探索大规模/超大规模多模态理解与生成交织的基础模型，并进行极致系统优化；数据建设、指令微调、偏好对齐、模型优化；提升数据合成、Scalable oversight、模型推理、规划能力，构建全面客观准确的评测体系，探索提升大模型能力； 4、利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以人工智能技术为核心的新技术、新产品。
我们正在构建下一代企业级 AI 知识中枢——不是一个实验室里的 Demo，而是一套正在真实运转、服务数万人的智能系统。从支撑百万级文档的智能问答引擎，到覆盖全公司的 AI 办公助手，我们的技术每天都在改变真实用户的工作方式。而现在，我们正在迈向更具野心的目标：构建企业的组织认知系统（Organizational Intelligence）——让 AI 不仅回答问题，更能理解组织如何运转、知识如何流动、决策如何形成。 通过连接文档、会议、IM、代码、项目与业务流程，我们正在定义企业 AI 的三层核心架构：Memory — 组织记忆：可持续沉淀、持续演化的知识底座；Cognition — 组织认知：理解上下文、识别模式、辅助决策；Agent — 智能行动：自主规划、多步执行、自我进化。 核心职责： 1、 多模态 RAG 架构设计面向文本、图像、表格、视频的统一检索增强生成框架，攻克跨模态知识索引与融合的核心挑战，让企业知识库中的每一种信息形态都能被精准理解和召回。 2、Agent 强化学习与自主规划探索基于 RL 的工具调用与任务规划能力，实现多轮多步骤复杂办公任务的自主执行，构建具备长期记忆与自我进化能力的下一代办公 Agent。 3、大模型可信度与幻觉抑制研究幻觉检测与抑制技术，构建事实一致性评估体系与证据链追溯机制，确保企业级知识问答输出的每一个字都经得起验证。