滴滴模型推理优化工程师(JR2026070700E)

1、和领域内最顶尖的算法工程师合作，一起研发业内领先的大模型推理优化方案，优化目标包括但不限于视频生成大模型、多模态大模型； 2、调研大模型推理优化方向最新论文，方向包括但不限于高性能算子开发、大模型量化、分布式大模型并行推理、投机推理等。

1、负责超大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、负责大模型分布式推理任务性能优化，流量调度，池化部署等，涵盖LLM/MLLM/Diffusion等多个场景； 3、与算法部门深度合作，进行算法与系统的联合优化； 4、国产硬件的适配和性能优化。

-负责千帆MaaS平台级推理降本与效率优化策略设计与落地，并支持定制化推理性能优化 -负责量化、投机推理（MTP / speculative decoding / Eagle）等训练–推理协同优化方案的设计与落地 -负责建设大模型推理性能评测与收益评估体系 -前沿技术落地：调研并落地大模型推理多维度优化技术，包括但不限于模型量化（INT4/INT8/FP8，含PTQ/QAT两种方式）、MTP投机推理优化、结构化剪枝与稀疏化等，持续提升推理效率与资源利用率，降低部署成本。

1.负责微信读书长文本理解场景下大模型（LLM）的部署与推理优化工作，聚焦系统吞吐量（Throughput）及服务性能的极致调优； 2.针对长文本理解的业务特性，开展大模型量化、推理加速等专项落地工作，提升模型在长上下文场景下的推理效率； 3.跟踪大模型推理优化前沿技术（如投机解码、KV Cache 优化、动态批处理等），结合微信读书长文本阅读场景的业务需求开展技术预研与难点攻关，沉淀可复用的技术方案。