小鹏汽车异构AI编译软件栈开发
任职要求
1、熟悉Clang与LLVM编译框架,熟悉SIMT编译优化经验,熟悉CUDA C兼容是加分项; 2、熟悉Triton/IREE/Torch-MLIR/ONNX-MLIR/TPU-MLIR等是加分项; 3、熟悉Tilelang/MLC-LLM/Relay/Relax/Ansor等是加分项; 4、熟悉Cutlass/Cute/Cute DSL/CuTile/TensorRT/TensorRT-LLM等是加分项; 5、熟悉大模型编译部署优化,尤其是跨级优…
工作职责
1、GPGPU特定的指令编译方案设计与开发,包含指令选择、指令调度等; 2、针对大模型的下一代AI编译器设计与开发,包括图编译、Cost-Model、低bit量化算法等; 3、Triton、Tilelang、Cutlass/Cute、Cute DSL/CuTile、Torch(torch.compile)等AI生态软件适配与支持;
1.支撑多AI芯片互联场景下的分布式推理引擎设计与优化,基于特定AD算法模型和LLM模型的推理加速优化设计。 2.支撑异构AI芯片上的调度框架设计与优化,提升系统的实时性、吞吐率、算力利用率等指标。 3.支撑AI推理底层基础软件栈的设计与优化,以及与AI 芯片的软硬联合设计优化。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 1、评估:负责评估符合业务要求的异构计算芯片,建立/完善评估体系、负载模型,预估业务收益; 2、推理:负责异构计算芯片落地实际推理业务,适配异构计算芯片特性,降低推理时延,提高推理吞吐; 3、训练:负责异构计算芯片落地实际训练业务,根据芯片计算、通信特性,优化显存占用,提高训练吞吐; 4、算子:负责开发异构计算芯片的高性能算子,根据芯片特性,优化算力、带宽利用率; 5、编译:负责通过编译技术实现异构计算芯片在不同业务场景中落地,负责实现更加高效的异构硬件编程范式; 6、调研:负责调研、验证前沿软硬件结合方向,比如稀疏计算(Sparse Computation)、存内计算(In-Memory Computing)、数据流计算(DataFlow)等。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 1、评估:负责评估符合业务要求的异构计算芯片,建立/完善评估体系、负载模型,预估业务收益; 2、推理:负责异构计算芯片落地实际推理业务,适配异构计算芯片特性,降低推理时延,提高推理吞吐; 3、训练:负责异构计算芯片落地实际训练业务,根据芯片计算、通信特性,优化显存占用,提高训练吞吐; 4、算子:负责开发异构计算芯片的高性能算子,根据芯片特性,优化算力、带宽利用率; 5、编译:负责通过编译技术实现异构计算芯片在不同业务场景中落地,负责实现更加高效的异构硬件编程范式; 6、调研:负责调研、验证前沿软硬件结合方向,比如稀疏计算(Sparse Computation)、存内计算(In-Memory Computing)、数据流计算(DataFlow)等。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 1、评估:负责评估符合业务要求的异构计算芯片,建立/完善评估体系、负载模型,预估业务收益; 2、推理:负责异构计算芯片落地实际推理业务,适配异构计算芯片特性,降低推理时延,提高推理吞吐; 3、训练:负责异构计算芯片落地实际训练业务,根据芯片计算、通信特性,优化显存占用,提高训练吞吐; 4、算子:负责开发异构计算芯片的高性能算子,根据芯片特性,优化算力、带宽利用率; 5、编译:负责通过编译技术实现异构计算芯片在不同业务场景中落地,负责实现更加高效的异构硬件编程范式; 6、调研:负责调研、验证前沿软硬件结合方向,比如稀疏计算(Sparse Computation)、存内计算(In-Memory Computing)、数据流计算(DataFlow)等。