小红书大规模GPU集群调度优化工程师/专家
任职要求
任职资格： 1、熟悉云原生生态及工具，如Kubernetes、Kubeflow、Volcano等，有GPU虚拟化、GPU集群调度、故障容错、高速存储/网络等经验优先； 2、了解大模型基本概念及训推生命周期，如预训练、微调、对齐、推理、部署等基本概念及流程，能够支撑大模型平台构建&优化即可； 3、熟悉大规模GPU训练、推理集群的调优技术，能结合平台调度、网络拓扑优化等提升集群训练推理效率。 4、熟练掌握 Python、Golang、C+…
工作职责
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、以自研推理引擎为中心的在线推理服务和近离线批式推理任务框架，负责超大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关，为搜索、推荐、审核等业务提供深度模型推理全场景端到端解决方案； 2、针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案，技术方案不限于子图匹配、编译优化、模型量化、异构硬件等； 3、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 4、与算法部门深度合作，进行算法与系统的联合优化。
1、负责具身大模型训练与推理基础设施的架构设计、搭建与优化，支撑大规模预训练、持续训练、强化学习及在线/离线推理任务稳定高效运行。 2、基于Megatron-LM、DeepSpeed、FSDP等分布式训练框架，设计并优化数据并行、张量并行、流水并行、专家并行等策略，支撑大参数量多模态模型训练。 3、深耕大模型训练性能优化，包括显存占用、算力利用率、通信效率、checkpoint与断点续训、训练稳定性等关键问题，提升训练吞吐与资源效率。 4、负责推理系统优化与部署，覆盖自回归模型、Diffusion模型及MoE模型等典型架构，提升推理链路在吞吐、延迟、显存占用和稳定性方面的综合表现。 5、推动量化、算子融合、图优化、显存复用、服务化部署等推理加速技术落地，支撑具身大模型在云端或端上环境的部署。 6、与算法、数据、平台团队紧密协作，完善训练配置、日志监控、指标可视化、故障定位等工具链，提升研发效率与工程标准化水平。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责机器学习系统存储相关组件的设计和开发，服务于大模型推理的各业务场景（LLM/S2S/VLM/多模态等），包括模型分发加载、KV Cache存储和优化，数据IO性能优化，提高推理TTFT、TBT等核心性能指标； 2、负责设计和实现面向大模型推理的多层级存储系统，综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统（HDFS/对象存储）等多种介质进行数据的存储和迁移管理，实现「近计算缓存+远端大容量存储」的一体化分级系统； 3、负责优化大模型KV Cache命中率，从推理框架，流量调度，多级缓存等多个系统纬度入手定制化优化策略；优化数据的读取性能，充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输；优化数据副本的存放策略，实现负载流量和存储数据的合理化分布； 4、负责设计和实现高效、易用的数据访问接口，实现和推理框架、引擎的无缝对接，管理KV Cache的生命周期； 5、负责Kubernetes场景下多级存储系统的接入、管理、运维、监控，确保稳定性； 6、负责多机房、多地域、多云场景的系统搭建和容灾，优化跨集群的数据摆放。
-建设业界领先的AI异构算力容器平台，提供高性能、高稳定性、高易用性的百舸产品，支持AIGC、智算中心、金融、 -结合 SOTA 模型训练推理优化原理，深入模型结构与设计思路，将训练推理优化手段工程实践化，为客户提供系统性加速方案，提升训推效率 -在自研芯片上适配常见大模型，结合深度学习训推框架特性，开发或调优相关算子，提升模型在芯片上的性能和精度表现，辅助客户进行芯片选型和应用 -针对大规模异构集群场景下，探索训推任务管理、异构资源调度、虚拟化混布、容器存储、高性能网络、分布式训练和推理等技术的创新和应用 -探索业界最新技术方向，参与机器学习框架等开源社区，提升百度混合云AI核心竞争力