MiniMax大模型效率研究员

工作描述

我们正在寻找一位能够端到端从模型算法、系统软件与硬件角度思考模型效率的研究员。从模型设计早期出发，需要你和算法及训练、推理团队共同探索模型结构，评估其在真实硬件和业务负载下的效率与成本，推动模型能力、训练效率和推理性能的协同提升，同时关注模型效果。
岗位职责
- 参与模型结构设计：从硬件能力、分布式训练和推理系统的视角，参与 Attention、MoE、条件计算、参数共享、量化及缓存机制等设计，提出可验证的架构方案。
- 建立端到端评估方法：建立计算、访存、通信及存储的性能与成本模型，分析模型结构对训练吞吐、显存占用、收敛表现，以及推理 TTFT、TPOT、吞吐和服务成本的影响。
- 关注效率与模型效果的tradeoff：能够端到端参与到模型效果评估，可以衡量基于效率的变更对效果的影响，从而找到最佳的tradeoff。
- 推动模型与硬件协同设计：结合加速器的计算精度、内存层级、带宽、互联拓扑和执行特性，识别架构瓶颈，为模型规模、层数、…