阿里云阿里云智能-机器学习平台研发专家-AI推理系统开发工程师
任职要求
1. 计算机相关专业，具有五年以上Golang、Python或C++开发经验 2. 熟悉vLLM、SGLang等开源推理引擎的架构与实现，了解Continuous Batching、PagedAttention等核心机制 3. 深入理解LLM推理场景下的请求调度策略，熟悉 KV Cache 管理、…
工作职责
1. 参与大模型推理系统的架构设计与开发，包括推理网关、请求调度、流量路由等核心模块的建设 2. 负责推理引擎（vLLM/SGLang等）的深度优化与定制化开发，提升推理吞吐与延迟表现 3. 参与PD分离（Prefill-Decode）架构的设计与开发，优化Prefill与Decode阶段的资源分配与协同调度 4. 负责KV Cache存储与管理系统开发，包括KV Cache迁移、共享、淘汰策略的设计与实现 5. 参与模型分发系统开发，支持大模型在多节点间的高效分发与加载 6. 基于线上监控与用户反馈，持续优化推理链路的性能、稳定性与成本效率
阿里云PAI团队致力于打造业界一流的一站式AI工程化平台，拥有万卡级训练能力与超大规模异构资源调度技术，为复杂模型训练与推理任务构建坚实基座。PAI平台不仅是通义大模型研发与落地的核心基础设施，也作为公共云服务的关键载体，支撑众多行企业构建大模型核心业务。平台提供从数据标注、预处理、模型训练、推理服务到开发环境与工作流调度的全链路工程支持，全面覆盖AI项目从实验探索到规模化落地的完整价值链。作为平台研发工程师，您将深度参与以下工作： 1. 负责大规模异构资源管理与模型训练服务的全流程开发，包括需求分析、架构设计、软件开发、质量保障与部署上线。 2. 持续开展系统模块的深度剖析与迭代优化，提升资源利用效率、任务成功率与启动速度，降低使用门槛，增强产品满意度与客户粘性。 3. 负责平台线上环境的实时监控、故障定位与性能调优，为客户提供及时的专业技术支持，保障平台服务的高可用与高稳定运行。 4. 紧密追踪大模型、AIGC等前沿技术趋势，洞察并提炼高价值用户需求，推动平台功能持续演进与技术架构升级。
1.建设特征/样本工程，设计包括从特征打印到特征服务的完整实时+离线特征/样本生产流程，设计大规模分布式特征存储系统，支撑百亿级数据实时处理，提升特征/样本的生产效率、质量和访问性能，进而提升算法迭代效率和效果； 2.对算法开发过程进行抽象，将常用的机器学习、深度学习过程沉淀为组件，建设算法开发pipeline，设计代码与可视化组件相结合的编程范式，提供便捷稳固的一站式环境托管，提升算法迭代效率； 3.建设训练任务的托管能力，设计异构、多地域、多系统资源池、多租户分组的实验编排调度系统，建立模型实验效果评估体系，支撑几十个业务线、千级模型同时进行训练，保障模型及时产出，提升资源利用率，帮助业务优化模型效果； 4.探索云原生下的模型服务部署架构，设计高可用、多角色的模型服务框架，制定流量分发、模型/服务治理策略，支撑万亿级推理调用量，提升模型部署成功率、推理请求成功率和性能；
1.负责机器学习平台MaaS后端架构设计与核心研发，构建在离线推理公共基础组件，支撑大模型与通用机器学习的全场景服务；深度参与大规模异构算力调度建设，为司内海量业务提供高并发、高可用、高性能的模型服务部署与 API 接入能力，支撑基座模型研发生产中的在离线部署、数据生成与评测场景，持续提升平台稳定性、效率与用户体验； 2.负责 MaaS 平台后端核心系统设计、研发与迭代，覆盖模型服务部署、编排、升级、调用全链路，打造可复用、可扩展、可观测的统一平台能力； 3.参与海量异构算力资源调度系统建设，实现弹性调度、负载均衡与资源效率优化； 4.构建高并发、高可用、低延迟的模型服务接入层与API网关，支撑司内海量业务调用与流量调度，通过限流、熔断、降级、容灾、全链路监控与问题归因等手段持续优化系统稳定性； 5.持续迭代平台易用性与运维效率，实现模型模板化一键部署，拓展多场景、多卡型、多推理框架部署能力；支撑模型快速集成发布、评测部署推理效率提升，保障内部基模研发与业务迭代需求； 6.参与技术方案评审、架构演进与代码质量管控，推动平台标准化、自动化建设。
【】 1、负责机器学习平台相关系统(比如训推平台，编排平台，Jupyter平台等)的研发与维护工作； 2、负责大规模异构资源管理与模型训练服务的全流程开发，包括需求分析、设计、开发、质量保障与部署上线。 3、持续开展系统模块的深度剖析与迭代优化，提升资源利用效率、任务成功率与启动速度，降低使用门槛，增强产品满意度与客户粘性。 4、负责平台线上环境的实时监控、故障定位与性能调优，为客户提供及时的专业技术支持，保障平台服务的高可用与高稳定运行。