百度高性能计算研发工程师(J70524)
任职要求
-统招本科及以上学历,3-5年相关工作经验 -熟悉至少一种编程语言,如 Java、C/C++、Go 等,并具备良好的编程能力 -熟悉 Slurm、SGE、pbs 等批处理作业调度及资源管理系统,对其工作原理有深入了解 -熟练使用 Cromwell、nextflow,kubeflow 等工作流引擎 -熟悉容器技术,k8s 生态及原理,有 k8s、docker、containerd…
工作职责
-参与百度智能云高性能计算系统的研发,包括集群管理、资源管理、任务调度、软件市场等方面 -参与高性能计算系统的易用性优化工作,使用户能够以更简单的方式实现管理并运行计算任务,降低学习成本和使用成本 -负责高性能计算系统的性能优化工作,包括但不限于功能模块在CPU/GPU上的深度优化工作 -探索业界新技术方向,将容器技术与高性能计算系统结合
-参与深度学习平台飞桨( PaddlePaddle)推理框架的设计、开发和业务支持 -负责深度学习框架的性能优化工作,包括但不限于功能模块在CPU/GPU上的深度优化工作 -负责深度学习推理框架前瞻技术的跟踪调研,实现技术创新突破 -参与深度学习框架的易用性优化工作,使开发者能够以更简单的方式实现各类任务,降低学习成本和开发成本 -负责异构高性能计算平台的设计、研发,高性能计算库、通信库开发与优化 -负责文心一言、萝卜快跑、搜索等业务大模型的推理性能优化
-负责昆仑芯AI芯片性能深度学习高性能计算库开发,支持各种AI场景 -探索新一代AI芯片编程模型和架构 -深度学习框架Pytorch/PaddlePaddle图性能优化 -大规模分布式训练性能优化,AI芯片通信库开发,探索高效的芯片互联架构
1.基于开源项目 Ray,打造业内领先的通用分布式计算引擎,包括但不限于以下方向:引擎内核(分布式Task调度与执行)、分布式数据处理框架、分布式在线服务编排框架等; 2.面向 Data + AI,支持和拓展以 Ray 为 infra 的多种业务场景,包括但不限于以下方向:数据科学、大模型训练数据管道服务、在线推理与离线推理、AI Agent与应用系统、隐私计算、图计算等; 3.与 K8S 深度融合,建设云原生环境下超大规模分布式系统的服务能力与平台化能力,为业务提供高可用、可扩展、高易用性的集群化服务; 4.参与开源共建与合作,提升团队与个人在业界的影响力。
团队介绍:字节跳动 Seed 团队成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、深度参与图像生成、视频生成、多模态视觉理解等视觉大模型训推一体化平台建设; 2、负责视觉大模型训练优化算法研究和落地,通过5D并行、通信优化、AutoCheckpointing等分布式训练手段提升模型的训练速度与效率; 3、通过编译优化、模型并行优化、图融合、高性能算子开发、低精度计算、Memory复用、Cache优化、高并发服务请求优化等技术,打造业界领先的高性能大模型训推引擎; 4、与算法部门深度合作,分析性能瓶颈,通过软硬结合提升模型训推效率,优化和部署视觉大模型,支持AI工具链和技术生态建设,推动字节跳动AI关键业务发展。