腾讯推理框架研发工程师-(深圳)or(北京)or
任职要求
1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力； 2.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm等，具备语言、多模态模型大规模部署和优化经验； 3.熟悉并行策略，如数据并行、流水线并行等，熟悉NVLINK、GPU RDMA通信者优先； 4.熟悉各类深度学习网络和算子底层实现细节，有实操经验优先； 5.熟悉主流开源模型及其架构特点，具备针对不同模型进…
工作职责
1.研发及优化大模型推理引擎、PD分离推理调度系统，提升大规模分布式推理系统的整体效率； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
1、负责大物流供应链场景下的决策智能体的研发。覆盖网络规划、资源规划、产品规划等核心业务，设计并训练具备复杂逻辑推理、任务规划及决策能力的AI智能体底盘； 2、基于 AutoGen 或 LangGraph 框架，设计和实现多智能体（Agent）系统，支持 Agent-to-Agent 协作，探索大模型在决策优化领域的应用。优化 Agent 的推理链路和交互效率，提升系统的稳定性与可扩展性。 3、与产品、业务、工程等团队紧密协作，将AI智能体与现有运筹算法、业务规则相结合，构建具备思考-规划-行动能力的智能体系统，解决实际业务中的高难度决策问题，确保模型落地后的业务价值； 4、跟踪AI及决策智能领域的前沿技术动态（如思维链CoT、RAG、智能体框架等），结合物流供应链的业务痛点，探索LLM+OR（运筹学）等创新技术方案，推动技术边界的拓展。
岗位职责： 1、负责大物流供应链场景下的决策智能体的研发。覆盖网络规划、资源规划、产品规划等核心业务，设计并训练具备复杂逻辑推理、任务规划及决策能力的AI智能体底盘； 2、基于 AutoGen 或 LangGraph 框架，设计和实现多智能体（Agent）系统，支持 Agent-to-Agent 协作，探索大模型在决策优化领域的应用。优化 Agent 的推理链路和交互效率，提升系统的稳定性与可扩展性。 3、与产品、业务、工程等团队紧密协作，将AI智能体与现有运筹算法、业务规则相结合，构建具备思考-规划-行动能力的智能体系统，解决实际业务中的高难度决策问题，确保模型落地后的业务价值； 4、跟踪AI及决策智能领域的前沿技术动态（如思维链CoT、RAG、智能体框架等），结合物流供应链的业务痛点，探索LLM+OR（运筹学）等创新技术方案，推动技术边界的拓展。
1.研发及优化大模型推理引擎、PD分离推理调度系统； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
1.负责数据科学平台dataops+mlops+devops相关工具链(包括Notebook、数据标注、合成、特征、模型、推理、Agent应用等)的设计和开发工作； 2.负责优化系统架构，提升在线特征、推理等服务的性能和稳定性，提升研发质量和效率。