腾讯音乐技术研究-大模型加速
任职要求
1. 博士学历，计算机、信息、通信、信号类及相关专业； 2. 对大模型加速领域保持好奇和持续探索， 在高性能计算/大模型训推等方面拥有顶会或知名开源项目优先； 3. 具备问题分析/定位能力，算法创新能力，以及良好…
工作职责
1. 核心技能（满足以下任一方向即可，兼备者优先）： （1）具备大模型推理优化经验：熟悉SGLang、vLLM、TensorRT-LLM等框架，对Continuous Batching、PagedAttention、量化（GPTQ/AWQ）等有源码级开发或改造经验。 （2）具备分布式训练优化经验：熟悉Megatron-LM、DeepSpeed、深入理解3D并行、ZeRO、FP8训练等优策略； （3）熟悉大模型推荐系统：掌握分布式推荐 embedding 系统和大模型推荐架构，了解推荐场景训推优化。 2. 解决大模型算法训练和推理部署瓶颈，助力大模型在各业务真实应用突破； 3. 参与大模型推理加速开源贡献工作，前沿系统技术跟进分析； 4. 具备工程落地能力，有主导或参与系统级训推框架的设计与开发经验者加分。
1. 负责大模型推理性能优化，包括CUDA Kernel开发、推测解码、低精度量化、模型结构优化等； 2. 优化多机多卡分布式训练流程，优化 Deepspeed Megatron-LM verl 等框架调优训练任务； 3. 解决大模型算法训练和推理部署瓶颈，助力大模型在各业务真实应用突破； 4. 参与大模型推理加速开源贡献工作，前沿系统技术跟进分析。
面向大模型在高并发、低延迟、低成本生产环境中的规模化落地，本课题聚焦下一代大模型推理加速关键技术，探索从模型架构、算法创新、硬件协同到集群系统的全链路优化方法，突破当前大模型推理在计算效率、显存占用、通信开销和系统稳定性等方面的瓶颈。 1. 探索面向推理友好的高效模型架构演进方法，结合后训练技术，研究 Attention、MoE、长上下文、KV Cache 等核心结构的推理效率优化，在保证模型效果的前提下提升吞吐、降低时延与部署成本。 2. 探索具有突破性的推理算法优化方案，围绕低比特量化、投机解码、稀疏注意力、LLM/Diffusion蒸馏等方向，以算法的角度持续突破并降低推理代价。 3. 探索面向新型硬件的推理加速技术，结合 GPU/NPU、异构算力单元、存算协同、算子融合和内存访问优化等能力，提升大模型推理在不同硬件平台上的执行效率。 4. 探索大流量集群推理系统的加速方案，结合网络通信、异构算力调度、请求路由、动态批处理等技术，提升推理系统在复杂业务场景下的效率、稳定性与鲁棒性。
职位描述： 1.设计和实现面向大模型推理的多层级存储系统，综合利用多种硬件进行数据的存储和迁移管理，优化大模型缓存利用率，提升推理性能； 2.设计负载感知的推理框架自调优能力，设计高效的指标采集模块，能够根据对不同负载自动调优推理框架的参数； 3.优化模型量化以及模型卸载技术，进一步提升单机场景下支持的模型规模； 4.设计高效微调框架，集成并优化微调算法，实现动态策略调度模块，基于任务特征挑选最合适的微调方案。
1. 负责AI Serving的研发与优化，包括但不限于大模型的高效推理算法、框架与系统； 2. 将业界开源/自研大模型应用于广告业务场景，实现创新应用； 3. 研究业界前沿的大语言模型，及相关的服务与优化框架。