米哈游大模型推理系统工程师
任职要求
1、本科及以上学历，计算机、软件工程、人工智能等相关专业优先 2、熟练掌握Linux环境下的C/C++与Python语言 3、精通以下至少一项的背景知识或经验：推理引擎和框架、GPU资源调度、高性能计算与通信、GPU监控和性能分析、模型量化、编译优化等 4、具有独立解决问题的能力，良好的团队合作精神 5、有强烈的工作责任心，较好的学习能力、沟通能力和自驱精神 6、有良好的文档习惯，及时按要求撰写更新工作流程及技术文档 加分项 - 深入研究过…
工作职责
1、负责公司各AI推理场景（LLM/多模态/视频等）的推理系统研发和性能优化、资源调度、可观测性搭建、日常维护等工作 2、与算法团队深度合作，进行算法与系统的联合设计与优化（如模型量化、kvcache量化、投机采样等） 3、保持关注行业前沿技术，且有能力和热情开展创新研究
1、负责火山引擎大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、千卡训练集群调优、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关，支撑火山引擎千亿级别的日均Token训练推理流量； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU 等； 5、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 6、与算法部门深度合作，进行算法与系统的联合优化。
1、负责机器学习系统推理架构和产品的设计开发，支持火山方舟大模型平台和机器学习平台的产品业务； 2、负责深度模型推理任务为核心的在线架构设计与优化，充分利用各种异构计算（GPU、CPU、其他异构硬件）、存储（各种云存储）、网络（VPC、RDMA）等资源，构建多租环境下的稳定性、观测体系，实现高并发、高吞吐的大规模在线系统； 3、负责推理系统的产品化落地，打造稳定、可观测、体验一流的公有云推理平台。
团队介绍：团队负责抖音集团内容审核、内容理解等方向的架构支持工作，业务范围覆盖抖音、今日头条、剪映等多个重要业务线，工作内容涵盖特征计算编排、大模型推理/训练框架、RAG等大模型应用、GPU/CPU资源治理、数据平台等系统建设及优化，与算法团队一起推进大模型在业务场景的应用落地，解决大模型应用过程中的各种工程挑战。 1、负责大模型推理系统架构设计及优化，密切配合算法部门，持续优化大模型研发和部署效率； 2、负责跟踪探索多种大模型推理技术，包括量化、蒸馏、TRT-LLM&vLLM、Kernel优化等理论研究和实践开发，极致提升推理性能； 3、负责GPU资源管理和治理，提升GPU资源使用效率。
1、负责火山引擎大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、千卡训练集群调优、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关，支撑火山引擎千亿级别的日均Token训练推理流量； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU等； 5、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 6、与算法部门深度合作，进行算法与系统的联合优化。