阿里巴巴业务技术-大模型推理与调度研发工程师-AI infra
任职要求
1. 2年及以上工作经验，本科及以上学历，计算机/电子/自动化/软件等相关专业，有AI工程优化经验的优先； 2. 掌握C/C++，精通算法与数据结构，熟悉Python； 3. 理解大模型推理基本原理，熟悉 LLM 推理流程、上下文管理与性能瓶颈；有推理服务或计算密集型服务的 稳定性治理、容量规划或性…
工作职责
立足 AI Agent 业务的研发运维全链路视角，从稳定、体验、效率和成本这四个方面持续优化模型推理服务，支持好 AI Agent 业务。
● 异构算力调度与算力池化（核心）：负责 GPU / CPU / 其他异构算力的统一调度与算力池化。设计并实现弹性伸缩、资源混布、潮汐资源盘活、Quota 管理等能力，提升整体资源利用率。
● 推理调度策略与性能优化：构建并优化推理调度与运行策略（如 KV Cache 管理、并发与队列控制、资源隔离），保障高峰流量下的低延迟与稳定性。
● 资源编排与多云治理：构建多机房、多地域、多云环境下的统一调度策略，实现跨地域容灾与就近访问。
● 推理框架与系统优化：协同底层网络 / 存储团队，优化 RDMA、高速网络、缓存 / 存储路径，充分释放大规模集群算力。
● 平台稳定性与问题治理：
○ 负责推理平台的稳定性建设：治理推理服务常见稳定性问题，建设推理平台的 可观测与稳定性体系、压测与容量规划、问题定位与根因分析等能力，并持续降低 MTTR。
○ 在多异构资源（GPU、CPU、NPU 等）、多云环境、复杂网络场景下，实现快速问题诊断、隔离与恢复。1. 负责天猫技术在各域的Agent算法优化，包括ToB和ToP相关产品，如AI商品运营、百补AI导购、品牌商家AI访谈； 2. 主导大模型后训练与领域适配，参与Agent在各业务场景下的微调于多轮对话优化，提升模型在生意诊断、运营策略、导购方案生成、工具决策等任务中的专业性与一致性。 3. 运用SFT、RL等后训练方法，设计合理Reward Function和优化函数，提升大模型在自主规划（Planning）、多步推理、工具调用、数据问答等方面的能力； 4. 负责设计并优化检索增强（RAG）系统，从索引构建、召回排序到知识融合与上下文压缩，全面提升RAG在高准确性需求场景下的效果与稳定性。 5. 深入跟踪LLM/Agent领域前沿进展，推进前沿技术在业务中的验证与落地，重点突破工具集成复杂推理、数据洞察、AI 搜索等方向的应用创新； 6. 负责建立科学评测体系，设计覆盖功能性、合规性、一致性与业务转化的多维评估指标，系统分析模型表现，指导模型与Agent策略的精准优化。
你可以获得： • 参与前沿AI技术研发，引领行业技术发展 • 与顶尖技术团队协作，攻克技术难题 • 技术成果直接服务海量用户，创造实际价值 • 完整的技术成长路径和职业发展机会 1. AI应用系统构建 • 设计和构建基于大模型的AI应用系统，包括智能客服、代码助手、AI运维等产品 • 运用指令微调（SFT）、强化学习（RLHF/DPO）等技术优化模型在特定场景的表现 • 构建完整的AI应用架构，涵盖数据处理、模型部署、用户交互等全链路 2. Agent智能体开发 • 设计和实现智能Agent系统，具备任务规划、工具调用、多轮交互等核心能力 • 构建多Agent协同框架，实现智能体间的分工协作和知识共享 • 探索Agent在复杂业务场景中的应用模式，如自动化运维、智能分析等 3. 业务场景优化 • 深入理解业务需求，将AI技术与实际场景深度结合，提升用户体验 • 优化AI应用在多轮对话、知识问答、决策支持等场景的效果和效率 • 与产品和工程团队协作，推动AI应用从原型到生产的完整落地
面向淘宝直播场景，利用前沿大模型技术构建“高智商、高情商”的数字人直播体系及智能助理。不限于： 1. 参与直播场景下超大规模用户评论的实时意图识别，解决口语化、垂直领域语义模糊等难题；构建基于Agent架构的对话管理系统，实现灵活的控场、互动与转场决策。 2. 参与研发高性能的直播垂直领域RAG系统，结合向量检索、知识图谱及在线实时外网检索，确保数字人回答内容的专业性、时效性及准确性（解决幻觉问题）。 3. 参与设计并实现面向直播侧的Agent框架，支持大模型自主调度营销工具、素材展示等能力，提升互动性。 4. 参与优化多轮对话能力，通过垂域SFT、DPO/RLHF等手段，训练大模型掌握数字人主播的个性化人设、带货节奏及高转化话术逻辑。
1. 负责天猫技术在各域的Agent算法优化，包括ToB和ToP相关产品，如AI商品运营、百补AI导购、品牌商家AI访谈； 2. 主导大模型后训练与领域适配，参与Agent在各业务场景下的微调于多轮对话优化，提升模型在生意诊断、运营策略、导购方案生成、工具决策等任务中的专业性与一致性。 3. 运用SFT、RL等后训练方法，设计合理Reward Function和优化函数，提升大模型在自主规划（Planning）、多步推理、工具调用、数据问答等方面的能力； 4. 负责设计并优化检索增强（RAG）系统，从索引构建、召回排序到知识融合与上下文压缩，全面提升RAG在高准确性需求场景下的效果与稳定性。 5. 深入跟踪LLM/Agent领域前沿进展，推进前沿技术在业务中的验证与落地，重点突破工具集成复杂推理、数据洞察、AI 搜索等方向的应用创新； 6. 负责建立科学评测体系，设计覆盖功能性、合规性、一致性与业务转化的多维评估指标，系统分析模型表现，指导模型与Agent策略的精准优化。