快手多模态训推引擎研发工程师
任职要求
1、本科及以上学历，电子、自动化、计算机类专业优先； 2、了解分布式系统或高性能计算相关知识，具备良好的系统编程、数据结构、算法基础、系统设计能力； 3、熟悉Linux开发环境、熟练使用Pytorch训练框架，掌握 C++/Python编程语言； 4、具有良好的团队合作精神和沟通能力；热爱钻研技术，善于分析、解决工程问题，能够对算法和底层的协同优化起到核心桥梁作用。 加分项： 1、熟悉tensorflow、pytorch、TensorRT，FasterTransformer等主流推理和训练框架，并有相关优化经验者优先； 2、具备大模型训练、分布式训练、微调经验、HPC基础知识，了解集合通信和CUDA编程，熟悉triton、cutlass，有算子库开发经验者优先； 3、在国际顶级会议/期刊上有相关论文发表优先； 4、有机器学习平台和深度学习框架等领域开发经验优先。
工作职责
1、基础设施与模型融合研究：紧密关注新一代基础设施的迭代，如高性能的新一代网卡、超节点服务器以及先进的集群拓扑结构等，结合多模态任务下多模型（涵盖visual tokenizer、diffusion、LLM 等）长 pipeline 特点，探索更先进、更高效的多模态模型架构以及训推解决方案； 2、分布式系统优化 ：运用分布式系统迭代、系统算法codesign等手段，针对模型规模、集群规模、context length持续scaling up过程中出现的诸多挑战展开深入研究。具体包括但不限于解决训练过程中的MFU与稳定性问题，优化推理环节的时延与吞吐，以及应对超长序列带来的训推显存压力等难题； 3、卓越系统打造：通过持续的创新与优化实践，致力于打造业界卓越的分布式训推系统，推动相关技术在实际应用场景中的高效落地，提升整体系统性能与竞争力，为kling等核心模型发展提供坚实支撑。
1、基础设施与模型融合研究 ：紧密关注新一代基础设施的迭代，如高性能的新一代网卡、超节点服务器以及先进的集群拓扑结构等，结合多模态任务下多模型（涵盖 visual tokenizer、diffusion、LLM 等）长 pipeline 特点，探索更先进、高效的多模态模型架构以及训推解决方案； 2、分布式系统优化 ：运用分布式系统迭代、系统算法 codesign 等手段，针对模型规模、集群规模、context length 持续 scaling up 过程中出现的诸多挑战展开深入研究。具体包括但不限于解决训练过程中的 MFU 与稳定性问题，优化推理环节的时延与吞吐，以及应对超长序列带来的训推显存压力等难题； 3、卓越系统打造 ：通过持续的创新与优化实践，致力于打造业界卓越的分布式训推系统，推动相关技术在实际应用场景中的高效落地，提升整体系统性能与竞争力，为 kling 等核心模型发展提供坚实支撑。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环，具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀，基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务，支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地！ 大模型训练方向： 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline； 2、研发支持多机多卡RL的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决RL算法在超长时序下的显存/通信瓶颈； 3、基于自建的训推引擎，落地公司统一的大模型生产部署平台，为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向： 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地。 大模型推理方向： 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，支撑各业务方向持续降本增效； 3、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向： 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现万亿级并行推理系统； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环，具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀，基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务，支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地！ 大模型训练方向： 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline； 2、研发支持多机多卡RL的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决RL算法在超长时序下的显存/通信瓶颈； 3、基于自建的训推引擎，落地公司统一的大模型生产部署平台，为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向： 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地。 大模型推理方向： 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，支撑各业务方向持续降本增效； 3、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向： 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现万亿级并行推理系统； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。
1、研发面向大语言/多模态/CV/NLP等类型模型的训练框架； 2、参与训练框架研发优化，包括分布式训练及微调工具链、训练性能优化、数据读取等AI基础设施的建设等； 3、与公司各算法部门深度合作，参与大语言模型、多模态大模型、计算机视觉、语音、自然语言处理等业务训推任务的优化提效； 4、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。