阿里云阿里云智能-AI集群通信优化高级技术专家-北京/杭州
任职要求
• 熟悉GPU/NPU的底层架构,熟练掌握类CUDA程序的代码编写,能够基于业务逻辑和底层硬件的特性进行计算和通信算子的性能优化; • 强烈的自我驱动力,对新技术有求知欲望和自学动力,可以理论结合实践的方式,快速的上手新的知识; • 严谨的工作态度,尤其在面对实验和测试数据和理论分析时,始终保持批判性思维,消除实验误差,保证实验和理论相符; • 有较强的对外沟通意愿,可以和上下游团队形成良好的协作关系,共同解决技术问题,推动项目落地; • 8年以上Coding经验; • 对所负责的领域能够作为owner,充分理解自己团队在生产关系大图中的定位,与业务和协作团队关系,形成良好协作,及时解决职责/认知冲突类问题并驱动合理方案落地; • 熟悉技术领域相关的前沿信息渠道,定期形成相关的前沿研究文档沉淀并能在团队中进行技术分享; • 熟悉竞对和对标产品的核心技术指标、优劣势对比,对我们如何追赶和保持优势有一定的理解; • 在架构设计中能够梳理明确模块的增删改,并据此分解开发工作项和相互依赖,考虑技术投入产出比(ROI)、性能优化; • 精通工作中使用的技术栈,在设计、架构、并发、分布式、数据等一个或多个技术领域达到专家水平,能够识别并准确解决问题; • 对自己负责的研发模块具备快速上线、响应、应急处理能力。
工作职责
1、技术方案设计 • 调研AI大模型训练及推理的前沿技术发展,分析计算通信协同优化的技术方案; • 分析客户需求,帮助客户使用我们的产品和解决方案,帮忙客户进行性能优化; 2、技术实现 • 负责AI计算系统的通信优化方案设计,包括计算通信协同优化、通信库研发测试、以及交付与支持; • 基于技术方案的拆解,按照任务目标和产出规范,完成任务/子任务的设计、编码开发和系统功能实现; • 负责核心功能的架构与代码模板的编写,开发与维护系统公用核心模块,技术架构重构、优化等; • 对编码进行阶段性的讨论和CodeReview,并通过调试优化,推动代码成功部署; • 对开发中和部署后的程序进行必要的维护和迭代,包括值班oncall、升级工单处置、bug排查、问题诊断、产品体验改善、性能和成本优化等。 3、稳定性和性能优化 • 制定稳定性策略,寻找并解决产品系统中的潜在风险和瓶颈,覆盖线上疑难杂症问题,确保系统的安全可靠; • 运用产品优化技术和方法,进行性能优化,提高产品稳定性和性能。 4、技术预研 • 分析AI业务通信pattern和发展趋势,探索通信库的优化空间,以及AI计算系统全栈的协同设计,提升系统端到端的稳定性和性能。 5、技术规划 • 理解业务战略及重点,基于业务需求作出高性能、高可用、高可靠、高拓展性的技术架构规划和落地。
1. 负责灵骏集群的AI系统性能分析与优化,支持客户多个AI作业场景在不同平台芯片和多种集群规模下的适配和性能调优,能快速且以工具/产品化方式识别性能瓶颈并提出解决方案; 2. 针对主流深度学习框架、分布式训练和模型部署场景等,进行性能调优,优化算子性能、通信性能、内存利用率等关键指标,提升集群整体运行效率; 3. 对AI系统进行性能建模与仿真,建立Roofline模型等性能分析工具。通过仿真结果辅助系统设计和资源分配,为集群建设提供数据支持;同时推荐最佳训练和模型部署配置,辅助用户拿到最佳性能实践; 4. 负责开发和维护性能分析工具,支持系统性能监控、瓶颈定位和优化效果评估,提供性能分析报告,为团队和客户提供性能优化建议。
1. 负责灵骏集群的AI系统性能分析与优化,支持客户多个AI作业场景在不同平台芯片和多种集群规模下的适配和性能调优,能快速且以工具/产品化方式识别性能瓶颈并提出解决方案; 2. 针对主流深度学习框架、分布式训练和模型部署场景等,进行性能调优,优化算子性能、通信性能、内存利用率等关键指标,提升集群整体运行效率; 3. 对AI系统进行性能建模与仿真,建立Roofline模型等性能分析工具。通过仿真结果辅助系统设计和资源分配,为集群建设提供数据支持;同时推荐最佳训练和模型部署配置,辅助用户拿到最佳性能实践; 4. 负责开发和维护性能分析工具,支持系统性能监控、瓶颈定位和优化效果评估,提供性能分析报告,为团队和客户提供性能优化建议。
1. 主导AI训练平台任务调度系统与队列管理架构设计,优化大规模分布式训练任务的资源调度策略与执行效率 2. 开发高并发任务调度算法,解决资源抢占、优先级调度、故障恢复等核心问题,保障万卡级集群资源利用率 3. 构建智能队列管理系统,支持弹性配额、动态优先级调整、故障任务自动迁移等高级功能,满足LLM/VLM等大模型训练需求 4. 负责调度系统可观测性建设与性能优化,培养调度领域技术团队
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、负责大模型平台的架构设计和核心功能研发,构建云原生架构,设计高可用、高性能的微服务体系; 2、负责构建面向大模型全流程的DevOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地; 3、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段,提升GPU集群使用效率; 4、将平台和框架结合,通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率,涉及k8s/kubeflow、网络通信、分布式训练等; 5、优化各AI平台性能,提升系统稳定性和可扩展性,保障大规模并发场景下的服务质量与用户体验; 6、持续研究分析业内创新AI平台产品,优化技术方案,改进产品功能,提升创新能力与产品体验。