米哈游AI Infra 系统工程师 - Varsapura
任职要求
1）本科及以上学历，计算机科学、软件工程、人工智能、分布式系统或相关专业 2）3 年以上基础设施、后端平台、分布式系统或 AI Infra 相关研发经验，有大规模训练平台、在线推理服务或高性能系统建设经验 3）熟悉 Python、C++、Golang、Java 中的一种或多种，具备扎实的工程实现能力和良好的代码质量意识 4）熟悉分布式系统基本原理，理解调度、存储、网络、容错、服务治理等关键问题，具备复杂系统设计、调试与优化能力 5）熟悉主流深度学习训练/推理生态及相关工具链，如 PyTorch、DeepSpeed、Megatron-LM、vLLM、SGLang、Triton、Ray 等，有实际使用或优化经验 6）了解大模型训练与推理中的核心技术问题，包括并行策略、混合精度、Checkpoint、KV Cache、Continuous Batching、量化、推理调度等 7）具备良好的问题分析能力与跨团队协作能力，能够推动算法、平台、产品、运维等多方协同完成复杂系…
工作职责
1）训练与推理基础设施建设：负责公司大模型相关训练与推理基础设施的设计、开发与优化，支撑游戏内容生成、角色扮演、智能 NPC、AI 叙事、AI 玩法等业务场景下的模型研发与线上服务 2）分布式训练系统研发：参与大模型训练平台与训练框架建设，支持预训练、后训练、微调等任务的高效运行，持续优化分布式训练效率、资源利用率、稳定性和成本，覆盖数据并行、张量并行、流水并行、MoE 等能力 3）在线推理服务优化：负责 LLM / AIGC 在线推理服务平台的架构设计与性能优化，提升推理链路在吞吐、时延、扩展性和稳定性上的表现，支持动态批处理、KV Cache 管理、量化推理、多模型部署与流量调度 4）平台化能力建设：建设面向模型研发与生产部署的一体化平台能力，包括任务提交、资源调度、实验管理、模型发布、版本管理、可观测性、自动化评测、灰度发布和故障恢复等 5）底层系统优化：围绕 GPU 集群、网络、存储、容器与调度系统开展底层优化工作，定位训练或推理中的性能瓶颈，持续提升计算效率、通信效率、数据读写效率和整体系统可靠性 6）稳定性与可观测性建设：建设训练与推理全链路的监控、日志、Tracing、告警与诊断体系，提升复杂 AI 系统的可观测性与问题定位效率，保障核心服务高可用与高可靠运行 7）新技术研究与落地：持续跟踪训练与推理基础设施方向的前沿技术，包括分布式训练优化、推理加速、长上下文支持、MoE 系统、量化、Speculative Decoding、Serving 框架等，并结合业务需求进行验证与落地
在这里，你将成为大模型技术落地的"幕后推手"。你将参与构建支撑千卡/万卡规模的 AI 计算基础设施，通过软硬件协同优化，解决大模型在训练、推理、Agent 基础设施中的工程挑战。你的代码将直接决定大模型训练的效率、推理的响应速度以及集群资源的利用率，为 AI 时代的算力底座注入核心动力。 具体的职责包括以下相关方向的一项或多项： 1. 面向 AI Infra 的操作系统：参与核心模块的设计与开发，包括 AI 训练、推理与 Agent 任务的资源调度、内存/显存管理、文件系统等底层系统的研发与优化。 2. 极致训练、推理与 Agent 软硬件协同优化：通过操作系统、Agent Sandbox、CUDA Runtime、KVCache 全栈优化 AI 工作负载 // 面向AI服务器优化，软硬件协同优化。 3. 工程效能提升与智能化：设计和实施系统级测试方案，包括单元测试、集成测试、性能测试和压力测试,保障系统稳定性和可靠性。 4. 运维监控系统建设：负责AI算力平台的日常运维、故障排查和性能监控,构建自动化运维工具和可观测性体系。 5. AI 可信计算体系建设：参与 AI Infra 以及 AI Agent 系统安全机制设计，包括资源隔离、权限控制、漏洞修复等，保障多租户环境下的系统安全技术探索。 6. 前沿 AIOS 技术探索：跟踪 AI Infra 前沿技术，探索 AI 与操作系统融合的创新方向，推动 AIOS 技术演进和开源社区贡献。
1.带领团队负责AI Infra相关系统底层相关技术的研发，支持大规模的分布式kvcache现网运营和底层网络传输优化等相关技术的研发和线上维护； 2.负责AI Agent领域的前瞻性技术预研。
AI Infra硬件系统开发工程师，既是底层硬件架构的设计者与实现者，也是连接算法需求与物理算力的核心桥梁。通过深度协同软硬件、定义高性能高能效的AI计算系统，推动阿里云AI基础设施的技术突破，为大模型训练与推理提供世界级的硬件支撑，赋能千行百业的智能化升级。 1. 硬件产品设计 • 负责服务器/HBA卡/加速模块/网卡/SSD/传输板卡/光模块等产品硬件模块硬件方案设计，完成单板原理图，PCB设计； • 负责产品硬件实现，协同结构、散热、工艺、SI、电源等工程领域，完成产品硬件设计、器件选型、调测环境搭建、问题分析解决、设计文档编写、生产导入、改进和维护等工作； • 负责自研或定制化芯片硬件工程可实现性方案设计及验证，为芯片产品化应用扫清障碍； 2. 功能调试 • 完成单板功能调试、可靠性测试、专业试验，测试Bug解决等相关工作； • 配合BIOS/BMC FW/OS等软件工程师进行系统功能调试及解决问题； 3. 产品维护 • 负责硬件产品全生命周期的硬件维护，包含生产及现网的问题解决及优化； • 负责硬件工程领域前沿技术研究，持续优化及突破硬件工程领域的基线能力； 4. 项目管理 • 按项目计划进行产品硬件落地实施，并对项目硬件进度、数据、质量进行监控，确保项目保质保量实施； • 总结项目经验和教训，反馈项目成果，为之后的产品开发沉淀经验总结。
1.负责机器学习训练平台的建设，支持业务的探索实践 2.负责研发领域相关的基础设施建设，包括但不限于数据采集、预处理、模型训练、监控和管理等 3.负责对算法进行工程化能力封装和抽象，形成通用框架或组件，提高研发效率和降低研发成本 4.负责大规模分布式异构训练性能优化