京东GPU性能优化专家
任职要求
1.熟练掌握CUDA编程,具备GPU编程和优化经验,能够进行高效的并行计算; 2.熟练使用PyTorch、TensorFlow、PaddlePaddle或其他主流深度学习框架; 3.熟练掌握模型训练或推理的性能分析方法; 4.熟悉Nvidia…
工作职责
1.在各类GPU(Nvidia/AMD gpu,昇腾NPU等)上测试常见开源模型,评估硬件的功能及性能; 2.分析模型训练或推理的性能瓶颈,提升硬件资源利用率; 3.优化算子,提升模型在GPU上的运行效率; 4.优化多机多卡的网络性能; 5.与相关团队合作,提高对外售卖的GPU资源的产品力,比如AI开发平台,GPU高性能计算集群等。
工作职责 1、万卡级 GPU 调度系统建设: 参与大规模 GPU 集群调度系统建设,围绕 Quota、优先级、抢占、弹性伸缩、碎片整理、拓扑感知调度等能力提升资源效率。 2、训推统一调度: 面向大模型训练、后训练、推理服务等不同负载,设计训推统一调度、潮汐混部、在线离线协同和资源弹性策略。 3、资源利用率治理: 建设 GPU 资源利用率分析体系,基于真实负载数据识别低效资源、资源碎片、潮汐空闲和调度瓶颈。 4、LLMOps 平台融合: 参与构建面向大模型训练、微调、推理、部署全流程的 LLMOps 能力,与云原生平台深度融合,支撑大模型生产链路稳定高效落地。 5、集群稳定性建设: 与云原生、IDC、网络、存储和业务团队协作,提升大规模 AI 集群的故障恢复能力、资源周转效率和任务稳定性。 6、前沿技术探索: 持续关注 Kubernetes、Volcano、Kueue、Ray、GPU 虚拟化、弹性调度等相关技术,探索下一代 AI 资源调度系统。
1、负责AI硬件的云端GPU和XPU的推理引擎日常研发; 2、跟进支撑智能业务,整合团队资源,协调外部团队,推动业务上线; 3、探索计算优化和芯片异构前沿技术,比如:GPU,XPU等,跟进前沿加速技术:flash attention,paged attention,MTP。 职位要求
1、万卡级 GPU 调度系统建设: 参与大规模 GPU 集群调度系统建设,围绕 Quota、优先级、抢占、弹性伸缩、碎片整理、拓扑感知调度等能力提升资源效率。 2、训推统一调度: 面向大模型训练、后训练、推理服务等不同负载,设计训推统一调度、潮汐混部、在线离线协同和资源弹性策略。 3、资源利用率治理: 建设 GPU 资源利用率分析体系,基于真实负载数据识别低效资源、资源碎片、潮汐空闲和调度瓶颈。 4、LLMOps 平台融合: 参与构建面向大模型训练、微调、推理、部署全流程的 LLMOps 能力,与云原生平台深度融合,支撑大模型生产链路稳定高效落地。 5、集群稳定性建设: 与云原生、IDC、网络、存储和业务团队协作,提升大规模 AI 集群的故障恢复能力、资源周转效率和任务稳定性。 6、前沿技术探索: 持续关注 Kubernetes、Volcano、Kueue、Ray、GPU 虚拟化、弹性调度等相关技术,探索下一代 AI 资源调度系统。
本岗位面向硕士及以上毕业生,旨在培养具备计算机图形学、GPU性能分析、GPU微架构设计能力与产业落地视野的高潜人才,职责涵盖图形渲染算法研究、GPU软硬件协同设计、GPU架构预研与前瞻技术探索,具体如下: 1. 针对移动端游戏的高性能渲染与能效需求,基于移动端GPU的设计特点对游戏渲染过程进行系统性分析,结合GPU软、硬件架构与游戏负载建模,识别游戏软、硬件瓶颈并制定针对性优化策略,为移动端GPU的设计迭代及游戏优化提供量化评估模型与数据支撑; 2. 面向下一代图形渲染技术演进(如实时路径追踪、神经辐射场渲染等),构建场景驱动的GPU能效评估体系,通过量化分析当前GPU软、硬件在典型负载下的PPA表现,跟踪业界最新的图形渲染技术和架构演进方向,推导出面向未来游戏场景的渲染技术和相应的GPU架构演进路径。为与供应商合作提供场景和数据支撑。