腾讯腾讯智能座舱-大模型量化部署工程师

任职要求

1.熟练掌握 C/C++、Python语言，有良好计算机体系结构知识；
2.具备高通/MTK/nvidia等芯片平台的端侧量化部署经验，至少一个平台；
3.熟悉大模型常见的部署框架（如TensorRT-LLM/vLLM/QNN等）和量化算法；
4.熟悉端侧大模型推理机制如计算图的执行、算子融合、KV 缓存优化、投机采样策略等…

工作职责

1.负责座舱端侧大模型量化部署，如高通/MTK/Nvidia等座舱芯片平台；
2.探索不同芯片平台的算子能力与工程新特性，设计不同的量化策略与验证方法，优化量化前后精度损失；
3.负责端侧大模型部署过程中的性能优化，优化token生成速度与减少内存带宽的使用；
4.研究端侧大模型前沿的量化部署方法，提升端侧大模型整体性能与精度。