美团【基座大模型北斗实习】大模型推理前沿研究

任职要求

1、具有扎实的编程功底，熟悉 C++/CUDA 编程最佳；
2、深入理解 Transformer/MoE/Attent…

工作职责

简介：打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进：
1、异构硬件高性能推理算子研究与开发。
2、Model System Co -design，充分利用硬件特性。
3、Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。
4、投机推理算法研究与落地。
5、模型/KVCache 量化算法研究与算子开发。