阿里巴巴阿里妈妈-AI Serving高级专家-北京
任职要求
我们希望你： - 计算机、软件工程、电子信息、自动化、数学等相关专业背景，博士优先。 - 有超大规模分布式机器学习系统设计与开发经验与大模型在线Inference经验，了解MLSys相关前沿技术并能推动创新实践；熟悉TensorFlow/PyTorch/XLA/MLIR/TVM/TRT-LLM/DeepSpeed/Megatron等业界主流AI框架或编译器优先。 - 具备一线的C++/Python工程能力，精通数据结构和常用算法，掌握各种编译、调试、性能分析工具，有CPU/GPU/ASIC系统软件或硬件背景，熟悉计算机体系结构，熟悉并行编程（CUDA/OpenCL等）；有代码生成和优化背景，熟悉GC…
工作职责
我们是淘天集团阿里妈妈工程平台团队，致力于打造面向搜推广场景及AIGX应用的业界最强AI在线服务平台。团队服务于淘天电商核心业务，承担 广告模型超大规模特征工程和AI推理、LLM/Diffusion等大模型服务 的研发和优化等关键职责，在高性能在线服务（推荐系统/多模态大模型/大语言模型）、分布式系统（计算/存储/网络）、异构计算和AI编译优化（CPU/GPU/XPU）等课题上都具有业界最前沿的挑战。 1）负责超大规模生成式模型在线服务系统架构设计并推进落地； 2）负责大规模异构硬件系统inference在离线计算资源优化； 3）负责模型交付pipeline整体优化。
1. 参与 AgentRun 平台核心引擎的设计与开发，构建支持多框架（AgentScope/LangGraph/AutoGen/Dify/ADK 等）兼容的统一 Agent 运行时环境； 2. 负责高并发、低延迟的 Agent 执行调度系统研发，实现任务编排、状态管理、上下文隔离、资源限流与弹性扩缩容； 3. 设计并实现 Agent 工具调用（Tool Calling）的安全沙箱机制，支持 REST、Function Call、插件等多种集成模式，保障执行安全性与稳定性； 4. 构建面向 LLM Agent 的可观测体系，包括执行链路追踪、Token 消耗分析、失败重试策略、性能瓶颈诊断等，提升平台可运维性； 5. 深度参与 AgentRun 与通义大模型、阿里云 Serverless、函数计算（FC）、SLS 等基础设施的集成，打造端到端的智能体 PaaS 能力； 6. 探索前沿 Agent 技术（如反思机制、多智能体协作、长期记忆等）在生产环境中的工程化落地路径。
1. 参与 AgentRun 平台核心引擎的设计与开发，构建支持多框架（AgentScope/LangGraph/AutoGen/Dify/ADK 等）兼容的统一 Agent 运行时环境； 2. 负责高并发、低延迟的 Agent 执行调度系统研发，实现任务编排、状态管理、上下文隔离、资源限流与弹性扩缩容； 3. 设计并实现 Agent 工具调用（Tool Calling）的安全沙箱机制，支持 REST、Function Call、插件等多种集成模式，保障执行安全性与稳定性； 4. 构建面向 LLM Agent 的可观测体系，包括执行链路追踪、Token 消耗分析、失败重试策略、性能瓶颈诊断等，提升平台可运维性； 5. 深度参与 AgentRun 与通义大模型、阿里云 Serverless、函数计算（FC）、SLS 等基础设施的集成，打造端到端的智能体 PaaS 能力； 6. 探索前沿 Agent 技术（如反思机制、多智能体协作、长期记忆等）在生产环境中的工程化落地路径。
面向电商场景的广告/搜索/推荐业务，针对 召回/排序/机制策略 和 多模态AI模型、以及超大规模稀疏特征与Embedding，打造高性能的AI Serving系统。开展： 1. CPU/GPU/ASIC软硬件协同优化，发挥数十万CPU核和近万加速卡的计算潜力； 2. 稠密大模型 结合 稀疏-稠密模型的广告深度学习系统优化、编译优化和算法优化； 3. 面向广告/搜索/推荐AI Serving的新迭代范式探索。
1. 负责AI Serving的研发与优化，包括但不限于大模型的高效推理算法、框架与系统； 2. 将业界开源/自研大模型应用于广告业务场景，实现创新应用； 3. 研究业界前沿的大语言模型，及相关的服务与优化框架。