快手大模型推理优化工程师-【可灵AI专项】
任职要求
1、计算机相关专业，熟悉Linux开发环境，熟练掌握 Python编程语言，熟悉常见算法与数据结构； 2、熟悉深度学习相关基础知识和常见大模型推理优化技术； 3、具有良好的团队合作精神和沟通能力，积极乐观、具备抗压能力。 加分项 1、有Nv…
工作职责
1、和领域内最顶尖的算法工程师合作，一起研发业内领先的大模型推理优化方案，优化目标包括但不限于视频生成大模型、多模态大模型； 2、调研大模型推理优化方向最新论文，方向包括但不限于高性能算子开发、大模型量化、分布式大模型并行推理、投机推理等。
1、负责快手可灵/可图大模型的实时化加速需求, 包括但不限于推理步数优化, 稀疏attn, 超分等； 2、负责大模型的无损压缩微调训练, 包括但不限于实现 低精度QAT训练, LoRA/DPO微调等 ； 3、负责快手内部文本及多模态大模型的优化需求, 包括但不限于: LLM吞吐/延时优化, 长文本 KV-cache 优化, LLM 显存优化。
参与多模态数据生产相关的模型推理系统研发工作，工作内容包括： 1、构建高可用、高吞吐的数据算法服务框架，支持多模态模型服务的高效部署和迭代； 2、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
1、对接视频/图片/音频等各类多模态模型的数据生产需求，打造业界领先的多模态数据生产引擎，持续提升训练数据的规模、质量和迭代效率，支撑可灵全系多模态生成模型训练； 2、搭建 Data Centric 的多模态数据处理 pipeline，包括数据处理算子开发、跨模态检索引擎开发、多模态数据的内容理解、质量筛选、组织与合成等关键环节； 3、构建高可用、高吞吐的数据算法服务框架，支持多模态模型服务的快速部署，持续优化多模态数据的存储以及检索效率。
团队负责快手可灵在线推理服务的GPU资源利用，为 AI 视频生成模型提供算力基石。GPU集群算力规模大，且随着可灵业务持续快速增长中，团队积累了丰富的 GPU 资源调度与优化经验，旨在打造覆盖多场景、多地域的万卡级 GPU 算力平台。其中，在推理服务、模型训练等核心场景，通过算力调度、弹性伸缩、虚拟化混部等技术实现了GPU利用率的高水位。 1、参与GPU利用率下钻指标的建设及分析，挖掘潜在的GPU利用率提升手段； 2、通过算力调度策略，协同同步业务的资源供给； 3、参与虚拟化混部技术方案的架构设计和核心代码开发，协同推动方案落地，通过混部和潮汐资源提升面向业务的GPU供给能力； 4、参与模型推理执行优化，设计模型推理执行流水线。