阿里巴巴基础设施与稳定性工程-Linux内核研发工程师-杭州
任职要求
1. 深入理解操作系统原理,熟悉内核某个或多个核心子系统(调度、内存管理、IO、网络、驱动、虚拟化等),有内核研发经验; 2. 熟练使用各种内核工具(例如bpf/systemtap/perf等),具备快速定…
工作职责
1. 负责集团操作系统和内核的迭代演进,包括主流版本适配,重大功能、安全漏洞等Patch的快速引入; 2. 负责打造适合AI业务的运行环境,围绕AI业务进行内核调优,快速适配落地各硬件厂商驱动,保障基础设施稳定高效、快速迭代; 3. 负责围绕GPU&CPU提效建设性能优化、内核隔离能力,面向GPU&CPU软件生态建设性能分析、问题诊断工具和系统;
构建面向大规模AI集群的GPU微架构采集、性能剖析与优化决策系统,建设集群的性能分析、瓶颈定位、故障诊断等核心能力。 1. 针对NVIDIA、AMD、国产GPGPU等多厂商芯片,设计并实现规模化、无侵入的kernel级采集工具链和微架构指标体系; 2. 构建AI continuous profiling系统,将GPU kernel数据与算子执行、框架调度、通信原语、CPU性能、高性能通信性能相关联,为全栈性能优化提供量化的性能瓶颈数据和画像系统; 3. 结合理论 Roofline 分析与 simulation 方法,融合线上 profiling 数据,建设集群范围的软硬件配合与关键性能瓶颈分析体系,支撑AI训练与推理典型负载下的系统级优化; 4. 跟踪主流GPU架构演进,参与AI基础设施规划与设计,结合生产应用画像,支撑多元GPU/AI ASIC芯片的适配与优化,构建异构硬件性能的全链路量化分析模型,面向scale-up等未来AI硬件架构演进,建立硬件性能建模与TCO评估能力,形成数据驱动的决策支撑。
负责集团多种大模型的基础训推性能优化,聚焦异构GPU的高性能算子库、通信库的开发和优化,提升计算、通信的并行效率,设计并实现高效的并行计算策略、分布式推理方案等。面向集团多变的大模型训推场景,提炼核心的优化方法,探索通用的编译优化方案,跟进前沿技术,并将优化能力集成到自研/开源大模型推理/训练框架/编译器,推动优化方案在实际业务场景中的落地,持续创新构建业界领先的AI Infra。
我们关注并负责建设高效、稳定的AI基础设施,为超大规模的分布式训练/推理提供低延迟、高吞吐以及高性价比的I/O链路优化及分布式存储方案。 1. 集团十万卡级别的混合云AI基础设施内的I/O链路优化,支撑大模型、搜推广等训练推理场景的海量小文件及超大吞吐读写等I/O需求; 2. 紧密结合集团基础设施,探索存算分离、存算一网等网络架构下优异的存储架构,以及跨DC的存储同步与全球数据编排; 3. 探索面向transformer模型架构(LLM\多模态等)的kv-cache大容量、超低延迟的存储与缓存设计,通过RDMA、多级缓存等技术,与计算引擎联合CoDesign,探索下一代“以存代算”和“以存强算”的I/O模式;
团队介绍 加入AI算力数据与Agent小组,这是直接决定集团AI算力如何被"看见、管好、用好"的核心团队。从每一张GPU卡的产能效率到TPM容量规划、资源交付、供需匹配,实现从资源到售卖的全链路数据打通,并通过数据与Agent驱动的智能洞察支撑MaaS业务增长和管理层经营决策。 方向一:AI算力数据链路建设(数据工程背景) • 建设训练/推理(百炼、通义)两侧TPM与资源数据的采集、治理、建模和指标体系 • 设计标准化数仓,打通资源分配、交付、使用全链路数据口径 • 为MaaS经规管理、财务成本分析、BI、销控系统提供可信数据支撑 • 推动数据Agentic化,让Agent可自动查询、分析和推理算力数据 方向二:算力智能洞察与优化模型(算法工程背景) • 建立TPM容量规划模型与算力画像,支撑供需匹配和弹性交付智能决策 • 构建GPU/CPU/TPM利用率优化算法,实现全局卡型×模型最优匹配 • 开发智能流量管控与限流策略,保障运行时SLA(TTFT、TPOT、错误率) • 结合Agent实现算力优化决策自动化执行闭环