腾讯AI模型性能优化工程师
任职要求
1.熟悉Linux开发环境，掌握Python/C++等语言，具备良好的编程基础以及系统设计能力； 2.熟悉GPU或SIMD编程体系架构，了解LLM、AIGC等模型结构，能够使用nvpro、nsys等profiler工具； 3.精通主流训练框架和训练加速技术，包括但不限于：Pytorch、Megatron、DeepSpeed等； 4.具有系统性分析模型性能瓶颈的能力，熟悉从算子调用，到模型训练推理，再到结果返回的功能定义和具体逻辑； 5.具备良好的技术热情和责任感，优秀的分析解决问题能力、良好的团队意识和沟通能力。
工作职责
1.基于自研芯片，研发高性能推理与训练框架，解决芯片落地过程中的全链路问题； 2.根据市场产品调研，不断优化自身瓶颈，全面提升自研芯片推理模型整网性能； 3.不断迭代和完善框架性能和易用性，和业务一起构建自研芯片软件生态。
1.基于自研芯片，研发高性能推理与训练框架，解决芯片落地过程中的全链路问题； 2.根据市场产品调研，不断优化自身瓶颈，全面提升自研芯片推理模型整网性能； 3.不断迭代和完善框架性能和易用性，和业务一起构建自研芯片软件生态。
1、使用混合精度、算子融合、分布式计算等手段，加速AI4S模型的训练和推理； 2、与算法团队深入合作，使用AI模型解决材料与生物领域复杂科学问题； 3、跟踪业界的最新进展，与团队共同建立广泛深入的专业认知。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环，具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀，基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务，支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地！ 大模型训练方向： 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline； 2、研发支持多机多卡RL的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决RL算法在超长时序下的显存/通信瓶颈； 3、基于自建的训推引擎，落地公司统一的大模型生产部署平台，为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向： 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地。 大模型推理方向： 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，支撑各业务方向持续降本增效； 3、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向： 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现万亿级并行推理系统； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。
1. 主要基于智能座舱芯片NPU端侧部署AI大模型的优化，使得端侧NPU部署大模型获得最佳性能体验 2. 负责结合端侧NPU的算子和硬件加速特性，优化大模型的模型转换，算子融合，量化，图优化等 3. 负责分析端侧NPU算力单元的运行特性，NPU任务调度，优先级，内存交换等模型部署参数优化 4. 负责NPU的算力调度合理分配，NPU运行状态监控，算力预警等 5. 负责和NPU联合调优的推理引擎优化，让推理引擎和NPU硬件加速达到最佳的效果输出