米哈游大模型推理系统工程师
任职要求
1、本科及以上学历，计算机、软件工程、人工智能等相关专业优先 2、熟练掌握Linux环境下的C/C++与Python语言 3、精通以下至少一项的背景知识或经验：推理引擎和框架、GPU资源调度、高性能计算与通信、GPU监控和性能分析、模型量化、编译优化等 4、具有独立解决问题的能力，良好的团队合作精神 5、有强烈的工作责任心，较好的学习能力、沟通能力和自驱精神 6、有良好的文档习惯，及时按要求撰写更新工作流程及技术文档 加分项 - 深入研究过…
工作职责
1、负责公司各AI推理场景（LLM/多模态/视频等）的推理系统研发和性能优化、资源调度、可观测性搭建、日常维护等工作 2、与算法团队深度合作，进行算法与系统的联合设计与优化（如模型量化、kvcache量化、投机采样等） 3、保持关注行业前沿技术，且有能力和热情开展创新研究
岗位职责 1）推理调度系统：设计 batching / admission control / 请求调度策略，提升吞吐与稳定性； 2）KV Cache 系统：设计 cache 生命周期管理、复用策略与显存优化机制； 3）Decoding 优化：实现 speculative decoding / prefix reuse / 并行解码策略； 4）推理执行引擎：参与执行图、算子调度、runtime 优化； 5）GPU 利用率优化：分析 kernel、IO、调度瓶颈，提升整体利用率； 6）分布式推理：构建高并发在线服务，支持大规模请求负载； 7）训练协同：支持 RL rollout / evaluation 场景中的推理加速。
【】 1、负责大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、训练集群调优、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU等； 5、算法部门深度合作，进行算法与系统的联合优化。
1、负责火山引擎大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、千卡训练集群调优、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关，支撑火山引擎千亿级别的日均Token训练推理流量； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU 等； 5、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 6、与算法部门深度合作，进行算法与系统的联合优化。
1、负责火山引擎大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、千卡训练集群调优、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关，支撑火山引擎千亿级别的日均Token训练推理流量； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU等； 5、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 6、与算法部门深度合作，进行算法与系统的联合优化。