腾讯大模型推理引擎研发工程师（深圳/北京/上海/杭州）

1.配合算法工程师，推动深度学习相关算法的落地，打造高吞吐、低延时的推理系统； 2.优化大模型推理性能，提升吞吐并控制成本； 3.优化大模型推理框架，提升框架易用性和可调试性。

1.负责大语言模型推理加速引擎一念(https://github.com/Tencent/KsanaLLM)的研发和业务应用，助力业务降本提效； 2.与算法团队、产品团队紧密协作，理解业务需求并提供定制化的高性能计算解决方案； 3.持续跟踪HPC领域的前沿技术，推动新技术在一念的应用与创新； 4.解决高性能计算场景下的复杂技术问题，确保系统的稳定性和可扩展性。

1.基于开源项目 Ray，打造业内领先的通用分布式计算引擎，包括但不限于以下方向：引擎内核（分布式Task调度与执行）、分布式数据处理框架、分布式在线服务编排框架等； 2.面向 Data + AI，支持和拓展以 Ray 为 infra 的多种业务场景，包括但不限于以下方向：数据科学、大模型训练数据管道服务、在线推理与离线推理、AI Agent与应用系统、隐私计算、图计算等； 3.与 K8S 深度融合，建设云原生环境下超大规模分布式系统的服务能力与平台化能力，为业务提供高可用、可扩展、高易用性的集群化服务； 4.参与开源共建与合作，提升团队与个人在业界的影响力。

1、负责LLM/VLM/SD等模型推理优化加速、推理引擎和框架研发，服务于字节跳动内部业务； 2、通过编译优化、并行计算优化、图融合、高效CUDA算子开发、低精度计算、流式推理、投机采样、高并发服务请求优化等高性能优化技术打造业界领先的大模型推理引擎； 3、与公司各算法部门深度合作，分析业务性能瓶颈，对大模型进行性能分析与优化，投入大模型工具链开发及技术生态的建设。