阿里巴巴AI Infra工程师-计算方向
任职要求
1. 基础条件： ● 计算机、软件工程、人工智能等相关专业优先。 ● 热衷于数据结构和算法，在 ACM/ICPC 等竞赛中成绩优异者优先。 ● 在系统、体系结构或 AI 领域顶会（如 OSDI, SOSP, ASPLOS, ISCA, MICRO, MLSys, SIGCOMM, NSDI 等）发表过论文，或在核心开源项目中有重大贡献（Maintainer/Committer）者优先考虑。 2. 专业能力（系统工程与计算底座）： ● 系统编程功底：精通 C/C++、Go、Python 或 Rust 中至少一门语言，具备扎实的系统级编程能力。熟悉 Linux 内核（调度器、内存管理、网络栈、文件系统、cgroups）及高性能网络开发（Socket, RDMA, DPDK/SPDK），具备极强的底层工程实现与缺陷排查能力。 ● 分布式系统与云原生：深刻理解分布式系统基本原理（如一致性、容错、扩展性等）；对 Kubernetes 架构有一定理解，熟悉容器 Runtime（Docker/containerd/CRI）原理者优先；了解虚拟化技术（KVM/QEMU/Xen）或 DPU/智能网卡架构者加分。 3. AI 计算领域专业知识（满足其一即可）： ● 了解 AI 的基本原理与常见算法，理解模型训练/推理任务的基本流程及其资源需求（如显存、带宽、通信模式），了解主流训练推理框架（如 PyTorch、Megatron-LM、DeepSpeed、vLLM、SGLang）的基本使用方式。 ● 了解异构计算或高性能计算体系，熟悉 GPU 体系结构（PCIe/NVLink/NVSwitch）及相关编程模型（CUDA），有 GPU 相关优化经验者优先。 ● 熟悉容器化环境下 AI 任务的架构及部署链路，了解如何通过容器/虚拟化技术优化模型加载、Checkpoin…
工作职责
AI 时代的到来为云计算的进一步发展提供了前所未有的广阔舞台，为云计算基础设施带来全新的机遇和挑战。加入我们一起打造 AI 时代持续领先的计算基础设施，依托阿里自研神龙虚拟化架构、CIPU处理器、灵骏智算、以及业界领先的云计算调度能力和容器化管理能力等，你将参与构建支撑亿级计算核心、十万卡级 GPU 集群的规模的 AI 计算基础设施。 我们致力于通过软硬件协同优化、虚拟化与容器化技术创新，解决模型训练、模型推理，Agent、超大规模资源调度全链路中的极致工程挑战。你的代码将直接运行在阿里核心的计算产品中——决定大模型分布式训练的通信效率、推理引擎的响应延迟、GPU 集群的资源利用率，以及百万级服务器的弹性调度与智能运维。加入我们，全球顶尖 AI 模型注入最强劲的算力引擎！ 具体的职责包括以下相关方向的一项或多项： 1. 算力基建与分布式训练加速： ● 深入分布式训练架构，优化集合通信（AllReduce/AllGather）与底层算子性能，解决大规模集群通信瓶颈，提升模型训练的吞吐量与计算效率；参与研究新的训练框架和并行模式（DP/TP/PP/EP）。 ● 针对大规模推理场景，研发高性能推理引擎，通过 Kernel 优化、KV Cache 管理、框架改进与算法协同优化等手段，实现极致的低延迟与高并发。 2. 高性能网络与通信基础设施： ● 研发面向 AI 超算的大规模高性能网络（200G/400G/800G）及通信基础设施, 优化降低分布式训练与推理的网络传输延迟。 ● 负责 AI/高性能计算所需的高性能分布式通信框架研发，优化容器网络性能，保障海量任务的极致通信效率。 3. 加速计算与 GPU 集群管理： ● 持续探索前沿 GPU 架构设计与技术，结合业务需求构建高可用、高可靠、可扩展的加速计算技术体系。 ● 构建加算计算算力统一管理系统，实现智算集群中 GPU 资源的全面监控、质量巡检、故障预测与性能水平标定（SLO），保障算力资源的稳定一致性。 4. 虚拟化与系统软件研发： ● 在 Intel/AMD/ARM 等新硬件平台进行 Hypervisor 关键特性研发，使能硬件加速能力（VT-x/EPT/SR-IOV），基于 DPU/CIPU 的加速与卸载方案研发，降低虚拟化性能开销。 ● 负责云平台 CPU 调度器/内存管理系统/IO 资源虚拟化的设计研发与优化，提升资源利用效率与运维弹性，为Agentic AI提供可靠、高效、低成本的执行环境。 ● 基于 TDX/SEV 等硬件安全能力，打造面向 AI 场景的机密计算解决方案，保护云上租户的模型与数据安全。 5. 容器化调度与编排优化： ● 深度优化 Kubernetes 调度器，实现面向 GPU 拓扑感知的算力分配，解决大规模分布式训练任务的资源碎片化问题。 ● 研发面向 AI 推理与 Agent 运行的轻量化沙箱算力，实现计算资源的极致弹性与高密部署。 ● 设计并实现面向 AI 工作负载的弹性调度策略，通过多级缓存、预加载等手段，实现 AI 任务与 Agent 的秒级快速拉起与自动伸缩。 6. 智能化集群管理与 AIOps： ● 构建超大规模基础设施的智能化集群管理系统，涵盖资源调度、监控报警、自动化运维等核心能力，实现算力资源的弹性分配与自动化运维闭环。 ● 设计研发自主智能运维 Agent，通过自动故障感知、根因定位与自愈决策闭环，提升大规模集群的运维效率与稳定性。 7. AI 工程平台与效率提升： ● 打造一体化的 AI 研发平台，覆盖大模型训练、推理、调度的全流程，降低模型迭代门槛，提升研发效能。 ● 探索 Serverless 等新场景下面向 AI 计算的解决方案，设计研发基于 AI 的智能应用弹性及资源弹性产品能力，推动端到端弹性伸缩优化。"
面向高性能 GPU 大卡集群、AI 训练 / 推理集群，聚焦集群全栈性能优化、网络异常检测、服务器故障定位，支撑大模型训练、分布式算力业务稳定高效运行 团队通用职责： 1、参与大规模 GPU 集群日常压测、基线梳理、运维保障，配合完成集群扩容、版本升级、环境标准化工作 2、基于 Prometheus、Grafana、DCGM 等工具搭建集群监控大盘，输出性能报表、故障分析报告与优化方案 3、编写 Shell/Python 自动化脚本、运维 SOP、故障处理手册，沉淀技术知识库 4、协同算法、平台、网络团队，联动定位集群全链路问题，保障大模型训练、分布式任务稳定运行 5、跟踪 GPU 集群、RDMA 网络、分布式通信前沿技术，持续优化集群架构与运行效率 岗位具体职责： 聚焦硬件、驱动、通信库、调度、框架全维度性能优化，提升集群算力利用率与任务吞吐，细分具体工作内容： 1、负责 GPU 硬件栈调优：完成 GPU 驱动、CUDA、cuDNN、固件版本选型与参数调优，优化 GPU 功耗、显存占用、卡间 NVLink 通信效率，解决 GPU 降频、算力跑不满问题 2、分布式通信优化：针对 NCCL 集合通信库做参数调优，优化多机多卡分布式训练通信逻辑，降低通信时延、提升集合通信吞吐 3、系统与内核调优：基于 Linux 操作系统做内核参数、内存、IO、进程调度优化，适配高负载 GPU 集群运行场景 4、算力调度优化：配合 Slurm/K8s 算力调度平台，优化任务队列、资源配额、负载均衡策略，减少任务排队、资源碎片问题 5、AI 框架适配调优：对接 PyTorch、TensorFlow、vLLM 等主流框架，完成训练 / 推理场景参数调优，实现计算与通信重叠，提升端到端任务性能 6、集群基准测试：使用行业标准压测工具完成集群算力、吞吐、时延基准测试，定位性能瓶颈并落地优化方案
1. 负责模型训练场景中高性能计算Pipeline的实现，通过访存算子优化、算子融合、MoE/Attention算子定制，实现精细化显存管理、最大化计算/访存效率。 2. 负责结合大语言模型、多模态理解生成模型、Agentic RL等场景的模型训练需求进行算子设计，实现模型-Infra的Co-Design。 3. 负责世界模型、实时生成交互等场景的高性能低延迟算子设计和实现，满足模型加速上线的需求。 4. 使用专业的Profiling工具和手段，对大模型训练的端到端性能进行分析，精准定位Kernel执行、数据搬运、通信等环节的瓶颈，并提出体系化的优化方案。 5. 跟进业界SOTA的高性能计算工作，调研并实施异构硬件在超大规模训练场景的落地方案。
在这里，你将成为大模型技术落地的“幕后推手”。你将参与构建支撑千卡/万卡规模的 AI 计算基础设施，通过软硬件协同优化，解决大模型在训练、推理、调度全链路中的工程挑战。你的代码将直接决定大模型训练的效率、推理的响应速度以及集群资源的利用率，为 AI 时代的算力底座注入核心动力。 具体的职责包括以下相关方向的一项或多项： 1. 算力基建与分布式训练： ● 深入分布式训练架构，优化通信与底层算子性能，解决大规模集群通信瓶颈，提升模型训练的吞吐量与计算效率。参与研究新的训练框架和模式。 极致推理加速： ● 针对大规模推理场景，研发高性能推理引擎，通过kernel、框架、与算法结合的有损优化等手段，实现极致的低延迟与高并发。 2. 智能化资源调度与系统： ● 构建大规模 GPU 集群的统一调度与编排系统，实现算力资源的弹性分配与自动化调度，设计与优化面向 AI 计算场景的高性能通信、存储系统，保障海量任务的极致的效率。 3. 工程效率与平台化建设： ● 打造一体化的平台，覆盖大模型研发和迭代的全流程，降低模型迭代门槛，提升研发效能。
我们致力于打造面向搜推广场景 & 广告营销场景的业界领先AI Infra平台。团队贴合 阿里电商核心营销业务，承担着超大规模特征工程、深度学习与多模态训练推理、 AIGX & LLM 分布式训练与在离线推理、实时数据回流等关键职责，在高性能服务和优化、分布式计算和存储系统、并行与异构计算加速（CPU/GPU/XPU）和深度学习编译优化等课题上都具有业界最前沿的挑战。 希望你能够立足AI Infra方向，保持技术敏感性，推进基座大模型与广告-大模型结合的 AI Training & Inference 的系统级优化。在这里，你将接触到前沿的电商搜推广技术，以及有机会提前获得秋招直通T-Star的正式Offer。 岗位课题： 大模型 AI Infra 的 Algorithm-Training-Inference-Hardware co-design 课题项目背景： 面向广告业务的大盘提效（广告-大模型结合）、营销场景的 AIGX & LLM/MLLM，整体的大模型技术体系已经深度渗透到了日常业务迭代中，需要与算法协同解决基座模型（超大规模MoE）的 Training & Inference 系统性能与计算效率问题。 成长资源：计算机体系结构/计算机网络领域的博士及大模型技术相关算法工程化领域senior/staff engineer 的贴身指导；业界最前沿问题、世界级业务场景的落地挑战；不光做系统，通过 Algorithm-Training-Inference-Hardware 协同设计，还能深入理解算法与硬件。 岗位职责： 1. 超大规模Sparse-Dense模型（for 广告）和Dense大模型（for GenAI应用）的训练架构设计优化并推动生产落地。 2. 大规模异构硬件Training系统的计算性能与效率优化。 3. Algorithm-Training-Inference Co-Design，整体提升模型效率。