腾讯腾讯视频-大模型推理加速工程师-（深圳）（杭州）
任职要求
1.熟悉CPU/GPU异构开发，深入理解CUDA编程模型，能独立完成生成类模型的推理加速或性能调优项目； 2.理解生成类模型的核心架构（如扩散模型UNet/Dit结构），熟悉推理过程中的关键性能卡…
工作职责
1.核心攻坚生成类模型加速：聚焦文生图、图生图、视频生成等生成类模型，主导深度学习云端推理引擎的核心开发与推理效率优化，实现各相关AI算法的高质量落地； 2.蒸馏技术融合应用：结合生成类模型特性，将模型蒸馏技术（如DMD、CM等）融入推理引擎优化方案，在保证生成质量的前提下，进一步降低推理延迟。
1.负责通用多模态大模型的推理部署，包括多模态理解、生成、语音大模型等研发支持，推动算法落地； 2.多模态大模型性能优化及推理框架优化，提升整体吞吐、降低部署成本；提升框架易用性； 3.紧跟多模态生成和理解领域的技术前沿，推动技术创新在产品中落地； 4.针对落地业务，优化部署方案及适配定制化需求。
1.配合算法工程师，推动深度学习相关算法的落地，打造高吞吐、低延时的推理系统； 2.优化大模型推理性能，提升吞吐并控制成本； 3.优化大模型推理框架，提升框架易用性和可调试性。
● 面向 NVIDIA GPU、AMD GPU、NPU 等主流异构 AI 加速硬件，对大模型核心算子进行深度性能优化，极致压榨计算与访存带宽资源，显著提升端到端推理吞吐量与延迟表现。 ● 设计并实现高精度、极低比特（如 INT4/INT2）量化内核，在保障推理精度的前提下，大幅降低模型存储占用与计算开销，推动大模型在资源受限场景下的高效部署。 ● 针对大规模分布式推理场景，研发计算-通信协同优化技术，有效隐藏通信延迟，提升多卡/多节点系统的可扩展性与资源利用率。 ● 紧跟大模型架构前沿演进，针对稀疏 MoE、线性注意力（Linear Attention）、稀疏注意力（Sparse Attention）等新型结构，开展端到端性能建模、算子定制与内核级优化，为下一代高性能推理引擎提供核心技术支撑。
面向大模型在高并发、低延迟、低成本生产环境中的规模化落地，本课题聚焦下一代大模型推理加速关键技术，探索从模型架构、算法创新、硬件协同到集群系统的全链路优化方法，突破当前大模型推理在计算效率、显存占用、通信开销和系统稳定性等方面的瓶颈。 1. 探索面向推理友好的高效模型架构演进方法，结合后训练技术，研究 Attention、MoE、长上下文、KV Cache 等核心结构的推理效率优化，在保证模型效果的前提下提升吞吐、降低时延与部署成本。 2. 探索具有突破性的推理算法优化方案，围绕低比特量化、投机解码、稀疏注意力、LLM/Diffusion蒸馏等方向，以算法的角度持续突破并降低推理代价。 3. 探索面向新型硬件的推理加速技术，结合 GPU/NPU、异构算力单元、存算协同、算子融合和内存访问优化等能力，提升大模型推理在不同硬件平台上的执行效率。 4. 探索大流量集群推理系统的加速方案，结合网络通信、异构算力调度、请求路由、动态批处理等技术，提升推理系统在复杂业务场景下的效率、稳定性与鲁棒性。