阿里巴巴AI推理平台-百炼模型服务运行时技术专家/高级专家-杭州/北京

任职要求

1. 必备技能
（1）扎实的 C++/Python 编程功底，具备模块化设计能力。
（2）大模型推理框架（vLLM/SGLang等）经验，理解模型推理原理。
（3）分布式系统开发经验，熟悉缓存、微服务与容器化技术。
（4）Linux、C…

工作职责

1. 核心系统研发
（1）设计与优化大模型推理服务框架与分布式缓存系统。
（2）支持多推理引擎适配、多模态推理、分布式部署及高效数据管理。
（3）开发工具链与服务化能力，包括模型量化、转换、调度与生命周期管理。
2. 性能与稳定性优化
（1）优化推理服务框架的性能，包括引擎适配、生命周期管理和资源调度。
（2）深入优化kvcache的显存、内存和存储管理、批处理、缓存策略和网络传输。
（3）支持高性能通信协议、容错与负载均衡机制。
（4）提升系统可观测性，完善监控、告警与故障恢复体系。
3. 引擎与应用集成
（1）深度集成推理引擎、缓存系统和存储系统，优化访问模式与架构设计。
（2）满足大规模、多模态推理场景下的高吞吐与低延迟需求。