字节跳动SRE AI高级工程师-基础架构
任职要求
1、本科及以上学历,计算机相关专业或具备同等实践经验,拥有五年以上SRE工作经验; 2、熟悉GPU/XPU资源管理和调度,具备大规模高性能计算集群的管理经验; 3、具备深厚的计算机系统基础知识,了解操作系统、存储和网络IO等相关原理; 4、具备以下一项或多项软件开发经验:Go/Python/Java/C++等,能够编写高效、稳定的系统工具和自动化脚本; 5、有丰富的生产环境故障排查和性能调优经验,能够快速定位和解决问题;熟悉AI大模型训练框架(如TensorFlow、PyTorch等),了解大规模分布式训练的实现细节和优化方法; 6、具备优秀的沟通和协作能力,能够与业务方、开发团队紧密合作,推动项目顺利进行;具有高度的责任感和主动性,能够在快节奏下保持高效工作。 优先条件: 1、具备超大规模计算集群管理经验,尤其是在大数据和AI大模型训练场景下的经验; 2、熟悉NvidiaH100、A100等高性能计算卡的使用和优化; 3、具备系统化思维和工程化研发能力,能够设计和实现复杂系统的自动化解决方案; 4、英语口语流利,能够用英语进行流畅的沟通和表达,完成全球协作任务; 5、具有产品和工程思维,具备良好的项目管理能力、数据结构和系统设计能力者优先。
工作职责
1、负责海量高性能GPU/XPU卡的资源交付与一致性保障,涵盖万卡大模型训练、在线推理、在线搜索、推荐训练等不同业务场景的集群管理; 2、学习并深入了解GPU业务方的使用姿势和训练框架,掌握前沿AI大模型技术,解决超大规模场景下的稳定性挑战,涉及NvidiaH100、A100、昇腾、以及自研XPU等高性能卡型的使用; 3、构建自动化工程,确保生产环境的稳定性和资源在线率,及时发现并隔离故障GPU资源,提高资源流转效率; 4、通过优秀的工程架构设计,参与生产集群和服务的整个生命周期,满足可持续发展的需求并提高系统稳定性,包括架构规划、评审、设计、部署和上线等环节。
1、负责海量高性能GPU/XPU卡的资源交付与一致性保障,涵盖万卡大模型训练、在线推理、在线搜索、推荐训练等不同业务场景的集群管理; 2、学习并深入了解GPU业务方的使用姿势和训练框架,掌握前沿AI大模型技术,解决超大规模场景下的稳定性挑战,涉及NvidiaH100、A100、昇腾、以及自研XPU等高性能卡型的使用; 3、构建自动化工程,确保生产环境的稳定性和资源在线率,及时发现并隔离故障GPU资源,提高资源流转效率; 4、通过优秀的工程架构设计,参与生产集群和服务的整个生命周期,满足可持续发展的需求并提高系统稳定性,包括架构规划、评审、设计、部署和上线等环节。
1、负责海量高性能GPU/XPU卡的资源交付与一致性保障,涵盖万卡大模型训练、在线推理、在线搜索、推荐训练等不同业务场景的集群管理; 2、学习并深入了解GPU业务方的使用姿势和训练框架,掌握前沿AI大模型技术,解决超大规模场景下的稳定性挑战,涉及NvidiaH100、A100、昇腾、以及自研XPU等高性能卡型的使用; 3、构建自动化工程,确保生产环境的稳定性和资源在线率,及时发现并隔离故障GPU资源,提高资源流转效率; 4、通过优秀的工程架构设计,参与生产集群和服务的整个生命周期,满足可持续发展的需求并提高系统稳定性,包括架构规划、评审、设计、部署和上线等环节。
1. 负责理想汽车AI平台RDMA网络下大规模GPU集群和并行高速存储的运维工作,为业务平台的可用性负责 2. 调查解决大规模GPU集群管理和大规模AI训练情况下遇到的各种系统/稳定性问题,打造自动化,稳定,易于运维的高速网络和超算集群 3. 深入理解业务,推动AI平台在K8S多集群架构、监控平台、日志等方向的云原生架构演进并落地解决方案 4. 持续建设AI平台运维体系、在稳定性建设、故障定位、资源运营等方向,推动运维工作自动化、工程化
1.负责 AI 代码助手平台线上业务系统的日常运维,保障系统 7×24 小时稳定运行; 2.设计并完善 AI 代码助手的监控体系,实时监控系统性能、资源利用率、用户并发连接数等关键指标,通过数据分析提前发现潜在风险并制定解决方案; 3.制定并实施系统可靠性提升方案,优化 AI 代码助手的系统架构与部署,增强系统在高并发场景下的可用性和容错能力; 4.开发和维护自动化运维工具与脚本,实现服务器部署、配置管理、故障处理等运维任务的自动化,提升运维效率; 5.建立并完善应急响应机制,制定应急预案并定期演练,在系统故障时快速响应恢复;深入分析故障,制定改进措施避免复发; 6.结合业务发展和用户增长预测,对 AI 代码助手系统进行容量规划和性能评估,提前调整服务器资源,优化系统性能; 7.负责研发效能提升工作,搭建高效的流水线,实现代码自动化构建、测试与部署,减少人工干预,提升交付速度。