logo of tencent

腾讯元宝-大模型推理加速工程师

社招全职元宝技术地点:深圳状态:招聘

任职要求


1.职位要求;
2.熟练掌握 Linux 环境下的Rust/C++Python语言,有大规模机器学习系统相关经验;
3.熟悉至少一种机器学习框架(Tensorflow/PyTorch或其他自研框架);
4.熟悉至少一种大模型训练/推理框架,包括但不限于:vLLM、SGLang、TensorRT-LLM等;
5.具有独立解决问题的能力,良好的团队合作精神,具备优秀的复杂问题拆解能力;
6.有强烈的工作责任心,较好的学习能力、沟通能力和自驱力。

加分项
1.理解GPU硬件架构,理解 GPU 软件栈(CUDA,cutlass),具备GPU性能分析的经验。

工作职责


1.负责大模型训练和推理系统的研发与性能优化,包括但不限于:模型计算性能优化、分布式大模型推理系统、大规模推理流量调度等;
2.负责解决系统高并发、高可靠性、高可扩展性等技术难关;
3.负责大模型训练和推理前瞻性技术架构的调研和引入,技术方案不限于子图匹配、编译优化、模型量化、本地及mooncake分布式kv store等;
4.与算法部门深度合作,进行算法与系统的联合优化。
包括英文材料
Linux+
Rust+
C+++
Python+
机器学习+
TensorFlow+
PyTorch+
大模型+
vLLM+
TensorRT+
CUDA+
相关职位

logo of tencent
社招2年以上元宝技术

1.参与服务业务场景的llm大模型部署、运维、推理优化开发等相关工作; 2.负责推理加速方法的工程实现和落地,包括但不限于模型剪枝、模型量化、动态batch等方法; 3.调研前沿技术,推动稀疏化推理、异构推理、分布式推理等技术在搜索业务中的集成应用。

更新于 2025-08-12
logo of tencent
社招2年以上CSIG技术

1.参与服务业务场景的llm大模型部署、运维、推理优化开发等相关工作; 2.负责推理加速方法的工程实现和落地,包括但不限于模型剪枝、模型量化、动态batch等方法; 3.调研前沿技术,推动稀疏化推理、异构推理、分布式推理等技术在搜索业务中的集成应用。

更新于 2025-08-04
logo of tencent
社招5年以上搜索-元宝技术

1.负责AI搜索中大模型后训练方向的核心技术研发,包括SFT、偏好学习、强化学习等算法研发、优化与创新,提升AI搜索的回复效果; 2.跟踪AI搜索领域的前沿技术,参与前沿算法研究,推动研究成果在业务场景的落地应用; 3.参与产品讨论,基于技术对产品提出改进建议。

更新于 2025-09-22
logo of tencent
社招3年以上元宝技术

1.面向AI应用场景的大模型微调,优化PostTraining (SFT/RM/RL) 算法的训练效率和实际用户体验效果; 2.研究各领域高质量数据的自动化合成方法,建设高效的线上数据飞轮链路; 3.配合产品和工程,探索LLM在创作、教育、金融、代码等场景下的创新应用。

更新于 2025-09-28