京东推理引擎工程师（大模型/CTR/端）
任职要求
1.本科及以上学历，3-5年机器学习/推理优化研发经验； 2.LLM方向：需熟练掌握大模型推理引擎的优化技术、大模型多模态/文生图/文生视频等大模型算法；具备扎实的学术能力或者是大模型推理引擎开源项目的负责人，具有大模型推理引擎领域发展的前瞻能力； 3.CTR方向：需熟练掌握CTR场景的模型推理的优化技术，熟悉推荐、搜索、广…
工作职责
1.负责大模型、CTR模型及端侧模型的推理性能优化与部署，根据业务场景（如LLM多模态生成、推荐/搜索/广告、移动端/嵌入式设备）定制高性能推理解决方案； 2.针对大模型推理场景，优化推理引擎性能，支持文生图、文生视频等多模态任务的低延迟、高吞吐部署； 3.在CTR场景中，优化推荐/广告系统的分布式推理框架，通过GPU算子优化、编译优化、图优化等技术提升大规模稀疏模型的服务效率； 4.负责端侧模型的轻量化部署，通过模型量化、蒸馏、压缩及端上编译优化实现模型在资源受限环境的高效运行； 5.跟踪前沿推理技术，主导开源项目或关键技术攻关，推动团队在推理性能、成本效率上的持续突破。
随着Agent技术的规模化落地，大模型推理的Token消耗呈现指数级增长，推理系统的性能与成本已成为制约业务发展的核心瓶颈。LongCat推理团队致力于打造世界级的高效、稳定、可扩展的大模型推理引擎，支撑超大规模集群的复杂线上流量场景，为业务提供极致的推理性能与成本优势。岗位职责我们诚邀在以下一个或多个方向具备深厚积累的工程师加入： 1.模型-系统协同设计深度参与模型架构设计，将推理效率优化的思想前置到模型设计环节，与算法及训练工程团队紧密协作，从硬件亲和性角度出发，设计低延迟、高吞吐的模型结构，实现算法与系统的端到端优化。 2.高性能算子开发 面向异构计算硬件，研发极致优化的融合算子 ，探索Tiling策略、内存访问模式、流水线并行等底层性能优化手段。 3.推理框架优化 深入优化自研推理框架，降低调度开销，实现计算与通信的高效重叠，提升硬件利用率。 4.分布式系统架构 设计高可用的分布式推理系统，通过智能请求调度、动态负载均衡、反压控制等机制，保障系统在突发流量下的稳定性与SLA。 5.长上下文场景极致优化 针对T级别参数模型在M级别序列长度下的推理场景，系统性优化显存占用、IO带宽、算力分配及跨节点通信效率，充分释放硬件潜力。 【为什么是我们】 1.直面大模型时代最核心的工程挑战——用极致的系统优化，打破推理成本与性能的边界。 2.从大规模集群的分布式调度，到底层算子的硬件性能榨取；从长上下文场景的显存革命，到模型-系统协同设计的未来架构。每一行代码，都将直接影响千亿级Token的推理效率，改善数亿用户的线上服务体验。
1、参与 LLM 推理框架 的研发与性能优化，支持主流开源模型及自研模型的高效推理； 2、负责底层算子优化，包括但不限于访存模式优化、计算流水线编排、低精度量化（如 INT8/FP8）、编译优化等，持续提升硬件资源利用效率与模型推理 MFU（Model FLOPs Utilization）； 3、优化推理框架上层调度策略，通过节点内及节点间的计算任务调度与通信优化，提升整体引擎性能； 4、建设与优化 LLM 模型服务相关工具与平台，提升模型部署的易用性及在线服务的稳定性。
参与快手大模型推理引擎研发，工作内容包括： 1、参与大模型推理引擎的设计和研发，支撑快手自研以及开源模型的快速部署和高性能推理; 2、通过各种技术手段持续优化性能，降低推理成本，包括但不限于：算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等; 3、支持RL中的多样化采样、generation性能优化等。
1.研发及优化大模型推理引擎、PD分离推理调度系统； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。