百度高性能计算研发工程师(J70524)
任职要求
-统招本科及以上学历,3-5年相关工作经验 -熟悉至少一种编程语言,如 Java、C/C++、Go 等,并具备良好的编程能力 -熟悉 Slurm、SGE、pbs 等批处理作业调度及资源管理系统,对其工作原理有深入了解 -熟练使用 Cromwell、nextflow,kubeflow 等工作流引擎 -熟悉容器技术,k8s 生态及原理,有 k8s、docker、containerd 扩展开发经验 -对高性能计算领域有浓厚的兴趣,熟悉分布式系统原理,了解并行计算、分布式计算、调度等相关概念和技术 -有较好的工程实践能力,能负责一个独立功能的设计、开发,自主的解决工程中遇到的相关问题,并持续优化 -对敏捷开发方法的了解和实践,能够在快速迭代的环境下高效工作 -具备良好的问题分析和解决能力,能够快速学习和掌握新技术 -具备团队合作精神,良好的沟通能力和学习能力
工作职责
-参与百度智能云高性能计算系统的研发,包括集群管理、资源管理、任务调度、软件市场等方面 -参与高性能计算系统的易用性优化工作,使用户能够以更简单的方式实现管理并运行计算任务,降低学习成本和使用成本 -负责高性能计算系统的性能优化工作,包括但不限于功能模块在CPU/GPU上的深度优化工作 -探索业界新技术方向,将容器技术与高性能计算系统结合

1. 开发多模态场景下的高性能推理计算平台,优化车载大模型业务训练与推理性能,助力业务落地; 2. 构建自研高性能引擎,跟踪前沿技术,打造领先的推理平台; 3. 基于 GPU/CPU 搭建推理系统,提升 AI 系统技术水平,加速多模态视觉及语言模型; 4. 负责音频、视频、文本多模态工程全周期开发,涵盖数据准备 / 处理加速、模型部署评估;

1、负责推理加速算法的研发和实现,包括但不限于模型剪枝、模型量化、模型蒸馏、模型压缩等,负责深度学习模型的量化和蒸馏,实现高效的模型压缩和部署,提高模型的运行效率和推理速度。 2、负责LLM/多模态模型的端到端部署和流程优化,探索包括但不限于推理引擎的开发、模型优化和压缩、模型部署的端到端流程设计等。 3、负责设计和研发AI端到端任务编排体系,提升AI大模型在业务中的应用效率。 4、负责优化计算集群的资源调度和弹性计算策略,提升集群的资源利用率。 5、负责算法底层工程的链路设计和工程落地,提高服务的运行效率。
-参与深度学习平台飞桨( PaddlePaddle)推理框架的设计、开发和业务支持 -负责深度学习框架的性能优化工作,包括但不限于功能模块在CPU/GPU上的深度优化工作 -负责深度学习推理框架前瞻技术的跟踪调研,实现技术创新突破 -参与深度学习框架的易用性优化工作,使开发者能够以更简单的方式实现各类任务,降低学习成本和开发成本 -负责异构高性能计算平台的设计、研发,高性能计算库、通信库开发与优化 -负责文心一言、萝卜快跑、搜索等业务大模型的推理性能优化
团队介绍:字节跳动 Seed 团队成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、深度参与图像生成、视频生成、多模态视觉理解等视觉大模型训推一体化平台建设; 2、负责视觉大模型训练优化算法研究和落地,通过5D并行、通信优化、AutoCheckpointing等分布式训练手段提升模型的训练速度与效率; 3、通过编译优化、模型并行优化、图融合、高性能算子开发、低精度计算、Memory复用、Cache优化、高并发服务请求优化等技术,打造业界领先的高性能大模型训推引擎; 4、与算法部门深度合作,分析性能瓶颈,通过软硬结合提升模型训推效率,优化和部署视觉大模型,支持AI工具链和技术生态建设,推动字节跳动AI关键业务发展。