logo of tongyi

通义通义实验室-技术专家-推理优化

社招全职3年以上技术类-开发地点:北京 | 杭州状态:招聘

任职要求


1、计算机/人工智能相关专业硕士及以上学历,熟练掌握C++Python编程语言,和软件工程面向对象设计(OOP,OOD)等相关技术, 有很好的抽象能力;
2、掌握性能优化方法论,能够快速定位系统瓶颈的原因,能够利用Roofline Model来计算IO、计算和带宽的理论极限,并用编程技术逼近极限;
3、良好的技术洞察力、拥有技术激情、快速学习和协同落地能力,自我驱动力强,具有创新精神。

加分项:
1、熟悉开源LLM推理引擎的架构和实现, 对推理引擎领域开源项目有持续关注;
2、有分布式推理系统架构设计和性能优化经验;
3、有CUDA编程基础和算子性能优化经验;
4、有过高性能计算领域文章发表等相关经验。

工作职责


1、多模态模型的推理功能开发和性能优化,包括对Qwen-VL、Qwen-Audio、Qwen-Omni等多模态输入/输出模型的功能支持和推理性能优化;
2、分布式推理架构的研发,包括多机推理架构设计,P/D分离、A/F分离、VL模型分离架构的落地;
3、KVCache服务的研发和落地,包括KVCache的存储和传输、与推理引擎、存储等系统的集成,以及端到端的性能优化;
4、推理引擎服务化,包括推理引擎如何接入线上服务平台,自动扩缩容和可观测性的适配,以及提升线上服务稳定性。
包括英文材料
学历+
C+++
Python+
面向对象+
大模型+
推理引擎+
系统设计+
CUDA+
相关职位

logo of antgroup
社招7年以上技术类-开发

1、负责安全GPU推理引擎、GPU性能优化相关技术平台,解决安全大模型GPU部署的资源弹性、性能瓶颈问题 2、了解行业最新GPU、NPU等最技术优化方案以及在安全落地 3、带领团队完成Modelops平台相关项目管理,以及平台架构规划设计

更新于 2025-08-04
logo of dewu
社招技术类

1. 负责开发和优化CV模型推理和大模型推理优化; 2. 持续优化推理服务性能,提升吞吐,降低延迟并优化整体成本; 3. 负责机器学习系统前瞻技术的调研和引入。

更新于 2023-12-26
logo of antgroup
社招3年以上技术类-开发

1. 支撑蚂蚁集团在各个业务领域的MLOps&LMOps算法研发工作,覆盖机器学习系统多个子方向领域的工作,包括:数据配比&全链路血缘建设、数据实验&分析、深度学习/大模型预训练/后训练/推理等,建设支持AI全链路的研发平台与AI垂类应用开发平台,实现算法研发效率、和资源利用率的最大化,灵活可扩展的支持不同领域的个性化应用开发需求,为蚂蚁大模型研发链路及应用研发探索新的研发模式; 2. 对平台进行全局性和前瞻性的架构设计和核心技术细节实现,帮助团队攻克各种技术难关,保障和提升平台稳定性。

更新于 2025-10-14
logo of aliyun
社招5年以上云智能集团

1. 主导Agent基础设施的架构设计与开发,构建高性能、高可用、安全可靠的Agent开发平台。 2. 基于多模态大模型设计无影AI的技术架构,持续优化系统可扩展性和稳定性,支撑无影AI业务快速增长。 3. 深入研究LLM/Agent领域前沿技术,将研究成果应用于复杂业务场景,提升系统整体性能和智能化水平。

更新于 2025-09-10