小红书大模型异构计算优化工程师/专家
任职要求
1、熟练掌握 C++/Python 编程，具备扎实的计算机体系结构、数据结构和算法基础，具备良好的编程习惯； 2、有至少一款非Nvidia GPU的异构计算芯片适配大模型训练、推理框架的相关经验，包括但不限于AI框架适配、模型移植、性能优化或算子开发； 3、熟悉至少一种主流的机器学习框架(PyTorch/PaddlePaddle/TensorFlow等)，对框架内部实现有一定了解； 4、具备大型深度学习模型（尤其是大语言模型LLM或多模态模型）的训练或…
工作职责
1、核心引擎开发与优化：负责或深度参与基于国产异构计算芯片（如NPU/PPU等）的大模型训练/推理引擎的架构设计、开发与迭代，构建高性能、高稳定性的上层软件栈； 2、大模型业务落地：将引擎能力应用于公司核心业务，主导或参与多模态、大语言模型等前沿AI模型在国产芯片上的训练、微调与推理部署，解决实际落地中的技术难题； 3、极致性能调优：针对各类业务大模型，进行深度的推理调度策略优化和关键算子（Kernel）的性能剖析与极致优化，持续提升系统的吞吐量、降低延迟； 4、生态合作与协同：作为技术接口人，与国产芯片原厂技术支持团队紧密合作，高效推进芯片驱动、基础软件栈的引入、问题排查与版本迭代，确保技术路线顺畅推进。
1、利用图优化，编译优化，CPU/GPU优化等技术加速CV/NLP/Speech等AI算法推理，充分挖掘处理器算力，为快手数亿用户提供高效稳定的算法能力输出； 2、追踪业界在异构计算性能优化方面的发展，并进行预研和应用探索； 3、工作内容包括但不限于： （1）CUDA kernel开发； （2）编译优化技术开发； （3）onnx parser开发； （4）训推一体加速库开发； （5）多卡推理技术开发； （6）针对Transformer/bert网络结构性能优化。
1、跟踪业界最新强化学习领域算法/训练范式进展，完成大模型强化学习训练框架的设计与实现，提升大集群分布式训练性能，缩短模型迭代周期； 2、负责大模型SFT/蒸馏训练框架的设计与实现，提升分布式训练性能； 3、负责分布式大模型推理引擎的方案设计与实现，快速完成业界Sota模型的规模化上线服务； 4、负责异构计算芯片（GPU/NPU/ASIC等）的评估、选型以及计算加速引擎设计实现。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 2、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 3、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。
-建设业界领先的AI异构算力容器平台，提供高性能、高稳定性、高易用性的百舸产品，支持AIGC、智算中心、金融、 -结合 SOTA 模型训练推理优化原理，深入模型结构与设计思路，将训练推理优化手段工程实践化，为客户提供系统性加速方案，提升训推效率 -在自研芯片上适配常见大模型，结合深度学习训推框架特性，开发或调优相关算子，提升模型在芯片上的性能和精度表现，辅助客户进行芯片选型和应用 -针对大规模异构集群场景下，探索训推任务管理、异构资源调度、虚拟化混布、容器存储、高性能网络、分布式训练和推理等技术的创新和应用 -探索业界最新技术方向，参与机器学习框架等开源社区，提升百度混合云AI核心竞争力