阿里云阿里云智能-异构资源软硬件结合开发专家-杭州

● 负责PAI平台资源调度模块的设计与开发，全面支撑模型训练、评估及推理阶段的资源调度需求。 ● 负责GPU、CPU 及其他异构硬件资源的统一编排与高效调度，实现对稳态资源、潮汐资源、混部资源以及多云环境下资源的合理分配与协同利用。 ● 聚焦资源复用与集群利用率提升，结合大模型场景中预训练、后训练、离线推理、评估等任务的负载特征，优化排队策略、优先级管理与抢占机制，最大化整体资源效能。 ● 构建端到端的故障可观测体系，针对训练/推理任务中频发的软硬件异常（如 GPU XID 错误、网络超时、节点失联等），完善日志、指标、事件的采集与关联分析能力，实现问题快速定位与根因追溯。 ● 研发智能诊断与自动容错机制，基于历史故障模式与运行时上下文，开发自动化诊断引擎，支持动态降级、局部重试、弹性扩缩容等策略，减少人工干预，提升作业自愈能力。 ● 打造训练过程可视化与用户体验闭环，建设面向用户的训练状态看板，直观呈现任务健康度、资源使用、通信瓶颈及异常告警，并提供可操作建议，降低使用门槛，加速问题反馈与迭代优化。

1. 负责不同机型的性能调优和稳定性验证，以保障线上运行的稳定性； 2. 负责异构系统的设计和研发，包括针对异构机器上服务的自适应调度、资源控制、性能优化等； 3. 负责OSS服务层特性的设计和研发，包括但不限于：针对高性能存储的架构开发，功能特性设计和优化，以及结合硬件系统特性进行系统优化等。

【业务介绍】 作为公司统一的模型训练引擎团队，支撑公司内所有搜推广类业务的训练工程侧工作，包括模型训练、参数服务器、特征样本流水线等，通过引擎能力的持续建设结合多元异构算力为业务提供高效、灵活、稳定的搜广推模型服务。 为公司核心的搜广推业务提供关键的模型训练引擎支撑，解决超大规模稀疏特征训练的核心问题，不断挖掘异构硬件算力，为公司搜广推业务增长提供保障，并获得快速的成长与提升。 【岗位职责】 1、负责小红书搜广推业务线的机器学习训练框架的研发与迭代，核心支持公司所有相关业务场景； 2、深入参与分布式训练、自动并行化、参数服务器、特征样本流水线等系统底层功能的创新设计与优化，实现软硬件协同的极致训练效率； 3、跨团队合作，与公司算法部门深度协同，针对关键项目开展算法与系统的联合优化，推动解决实际业务挑战； 4、推动自动化扩展、智能资源调度、跨架构设备兼容（NV GPU、GPGPU、XPU等）、AI系统可观测性等先进技术在公司模型训练平台落地； 5、跟踪并推动AI系统领域的最新技术趋势（如生成式推荐、AI编译优化、RDMA/NCCL通信计算并发等），持续保持平台业界领先优势。

1. 基于对目前主流AI芯片的深刻理解，分析硬件系统结构，提供软硬件优化实践和调优指南； 2. 了解市场上主流AI，大数据，HPC应用对异构计算系统设计的挑战，应用AI加速芯片，设计打造高效异构计算产品； 3. 聚焦异构资源在线性能分析，负责系统级性能分析和业务瓶颈定位，助力异构集群的极致稳定； 4. 实现异构计算基础设施serverless化，驱动异构云原生架构演进； 5. 洞悉人工智能及深度学习的应用发展趋势，参与下一代机器学习算力产品设计。