智能互联AI创新事业部-多模态算法专家/高级专家（理解与生成）-未来生活实验室
任职要求
1. 自然语言处理、机器学习、数据挖掘、人工智能等相关专业的硕士生/博士生； 2. 熟练掌握Tensorflow、Pytorch等深度学习框架，扎实的编程基础，具备独立的算法实现能力； 3. 有LLM实操经验，参与过大模型…
工作职责
1. 多模态理解：负责图文/视频/音频理解相关的算法研发，提升模型对复杂多模态场景的语义分析和推理能力。 2. 多模态生成：开发基于 Diffusion Model 或 Autoregressive 架构的生成算法（如 Text-to-Image, Text-to-Video），优化生成的质量、多样性与可控性。 3. 统一架构：设计并研发多模态大模型理解和生成的统一架构，通过高效Transformer结构、位置编码优化等，实现对图像、视频、文本的深度语义理解与高保真内容生成。
1. 产品战略与规划： 负责淘宝AI产品的整体规划与演进方向。基于对LLM技术边界和电商用户心智的深刻理解，定义“AI+ 电商”的长短期产品战略路径，并带领团队落地实现； 2. 新一代电商购物体验重构： 主导基于大模型的创新产品落地（如：生成式导购、多模态联合检索等）。从用户模糊意图识别到结构化/生成式结果呈现，重塑用户在淘宝的购买决策链路，提升复杂查询下的用户满意度与转化率； 3. 技术与商业融合： 深入理解LLM、NLP、RAG、Agent等技术原理，与算法团队紧密配合，将技术能力转化为可规模化的产品价值。在保障用户体验的同时，平衡算力成本与商业化变现效率； 4. 复杂系统设计： 负责搜索中台核心链路的AI化改造，构建能支持实时、高并发、个性化的AI产品架构。建立从Query理解、召回、排序到最终摘要生成的全链路产品标准。 5. 数据驱动与闭环： 建立AI电商产品的评估体系，通过数据洞察驱动模型迭代与产品优化，对最终业务结果负责。 6. 商业设计与产品运营： 搭建、Agent落地运营及全链路产品商业化增长。
1. 产品战略与规划： 负责淘宝搜索AI产品的整体规划与演进方向。基于对LLM技术边界和电商用户心智的深刻理解，定义“AI+搜索”的长短期产品战略路径，并带领团队落地实现； 2. 新一代搜索体验重构： 主导基于大模型的搜索创新产品落地（如：生成式导购、多模态联合检索等）。从用户模糊意图识别到结构化/生成式结果呈现，重塑用户在淘宝的购买决策链路，提升复杂查询下的用户满意度与转化率； 3. 技术与商业融合： 深入理解LLM、NLP、RAG、Agent等技术原理，与算法团队紧密配合，将技术能力转化为可规模化的产品价值。在保障用户体验的同时，平衡算力成本与商业化变现效率； 4. 复杂系统设计： 负责搜索中台核心链路的AI化改造，构建能支持实时、高并发、个性化的AI搜索产品架构。建立从Query理解、召回、排序到最终摘要生成的全链路产品标准。 5. 数据驱动与闭环： 建立AI搜索产品的评估体系，通过数据洞察驱动模型迭代与产品优化，对最终业务结果负责。
1、研发前沿的音频大模型 (Audio-LLM)，实现语音识别 (ASR)、语音合成 (TTS) 与音频理解的端到端融合。 2、优化多语种、情感化及高表现力的语音生成，提升在复杂环境（噪声、多人交谈）下的语义提取鲁棒性。 3、设计并优化多模态音乐生成模型，涵盖风格、韵律、和声、节奏等多维度生成任务。 4、探索音频 Tokenizer 优化，实现音频与 LLM 符号空间的对齐。