logo of tencent

腾讯推理框架研发工程师-深圳/北京/上海

社招全职3年以上腾讯云技术地点:上海状态:招聘

任职要求


1.熟练掌握C/C++Python编程语言,具备良好的coding和调试能力; 2.熟悉主流大模型推理框架,如vllm,sglang,tensorrt-llm等,具备语言、多模态模型大规模部署和优化经验; 3.熟悉并行策略,如数据并行、流水线并行等,熟悉NV…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1.研发及优化大模型推理引擎、PD分离推理调度系统,提升大规模分布式推理系统的整体效率; 2.支持主流GPU和异构AI芯片,优化大模型推理性能,打造极致性能成本优势。
包括英文材料
C+
C+++
Python+
大模型+
还有更多 •••