腾讯大模型推理引擎研发工程师（深圳/北京/上海/杭州）
任职要求
1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力； 2.熟悉GPU/AI芯片编程，如CUDA，OpenCL，Ascend C等，熟悉cutlass等加速库是加分项； 3.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm，FasterFransformer等； 4.熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、…
工作职责
1.研发及优化大模型推理引擎、PD分离推理调度系统； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
1、参与 LLM 推理框架 的研发与性能优化，支持主流开源模型及自研模型的高效推理； 2、负责底层算子优化，包括但不限于访存模式优化、计算流水线编排、低精度量化（如 INT8/FP8）、编译优化等，持续提升硬件资源利用效率与模型推理 MFU（Model FLOPs Utilization）； 3、优化推理框架上层调度策略，通过节点内及节点间的计算任务调度与通信优化，提升整体引擎性能； 4、建设与优化 LLM 模型服务相关工具与平台，提升模型部署的易用性及在线服务的稳定性。
参与快手大模型推理引擎研发，工作内容包括： 1、参与大模型推理引擎的设计和研发，支撑快手自研以及开源模型的快速部署和高性能推理; 2、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等; 3、支持RL中的多样化采样、generation性能优化等。
1、参与快手大规模深度学习推理引擎、大模型训练解决方案的研发与优化，包括大模型推理、模型训练框架、微调平台等； 2、参与底层算子的优化、通过优化访存pattern、计算提升推理性能，与算法部门合作，为公司大模型定制训练方案，探索RLHF、MoE、多模态、longcontext等前沿方向，提升训练性能； 3、优化推理框架上层调度策略，通过机内、机间的计算任务调度和通讯优化提升引擎性能；优化现有大语言模型相关工具和平台，提高模型训练、维护效率，降低成本，提升训练服务稳定性。
面向大模型在线推理场景，建设高性能、低成本、高可靠的推理加速基础设施，支撑高并发、大规模模型服务。 你将参与以下工作： 1. 设计和研发 KV Cache 存储、复用、调度与加速系统，优化 Prefill/Decode 阶段的缓存管理与资源利用率。 2. 协同 GPU 显存、主存、SSD 及远端存储等多级资源，优化 KV Cache 换入换出、跨节点迁移、共享复用和生命周期管理。 3. 优化首 Token 延迟、端到端时延、推理吞吐和集群资源成本，提升大模型服务的稳定性与弹性能力。 4. 分析并解决推理服务在线上的性能瓶颈、显存碎片、长尾延迟和稳定性问题，持续推动系统架构演进。