阿里巴巴AI推理平台-大模型工程链路测试开发专家/高级工程师-北京/杭州
任职要求
1. 计算机或相关专业硕士及以上学历，3年以上测试开发或质量保障经验，有大模型/AIGC项目经验者优先。 2. 精通Python/Java至少一种语言，熟悉主流测试框架（如PyTest、JUnit）及自动化工具链。 3. 熟悉大模型基本原理（如Transformer、Prompt Engineering、RLHF等），了解训练/推理/部署流程。 4. 具备数据驱动思维，能设计…
工作职责
1. 负责大模型训练、推理、评测、部署等核心链路的质量保障体系建设。 2. 设计并实现自动化评测框架，支持多维度（如准确性、一致性、安全性、推理速度等）的模型能力评估。 3. 构建高质量、可扩展的评测数据集，制定科学、可量化的评测标准与指标体系。 4. 推动CI/CD流程在大模型工程中的落地，保障模型迭代的稳定性与可回溯性。 5. 主导Bad Case分析闭环机制，联动算法、工程与业务团队优化模型表现。
本岗位隶属于我们是阿里巴巴大模型推理团队，负责生成式 AI 领域（主要是图像生成和LLM）的内部产品、训练推理服务系统建设和维护，为淘宝、天猫、聚划算、优酷、闲鱼等多个集团业务部门提供强有力的技术支撑和底层服务能力。 主要工作内容如下： 1. 负责设计开发高性能大模型推理引擎；结合流量调度、并行、Cache 等方法构建大规模分布式模型服务系统。 2. 融合业界前沿的算法工程理论，基于量化、动态剪枝等有损方法进行极致的模型加速和成本优化。 3. 结合数据、算法和工程，协同构建 AI Infra 平台，为生成式 AI 提供端到端解决方案，推动业务创新与实践应用。
1. 负责大规模语言基础模型，多模态模型，文生图、视频生成模型等AI能力的工程化落地工作。 2. 支持百炼大模型平台上高代码、低代码平台核心能力的建设。 3. 主要负责百炼大模型平台应用广场、MCP广场能生态能力建设。
1、负责视频图像生成、多模态语言类模型的推理引擎和服务框架建设，为百炼和广泛的阿里业务线提供高效、稳定、低延迟的模型推理能力。我们建设、开源且同时在内部使用的开源推理引擎包括： LLM类：https://github.com/alibaba/rtp-llm Diffusion类：https://github.com/modelscope/DiffSynth-Engine 2、负责上述推理引擎开发与性能优化，包括高性能CUDA算子开发与融合、混合精度与量化推理、显存生命周期管理，以及Tensor Parallelism等分布式并行策略在多模态模型上的设计与实现，持续提升推理吞吐与延迟指标。 3、负责多模态推理服务框架的架构设计与开发，包括多阶段模型pipeline的请求编排与调度、异构计算资源的混布与隔离、continuous batching与流式推理、多租户资源管理与弹性伸缩，构建高可用、高吞吐的在线推理服务体系。 4、工作地点：北京、杭州，未来会开放「上海」工作地点，现阶段支持员工根据团队安排部分时间在上海办公，详情可与hr或面试官沟通。
1. KVCache 核心系统研发，负责 LLM 推理场景下 KVCache 的架构设计与工程实现，优化 KVCache 的内存管理、显存分配与生命周期调度策略，研究并实现 Prefix Cache、Radix Tree Cache 等高效缓存复用机制，提升 Cache Hit Rate。 2. 设计跨机、跨节点的分布式 KVCache 共享与迁移方案，实现 KVCache 在 GPU HBM / CPU DRAM / NVMe SSD 多级存储间的高效卸载（Offload）与加载，针对长上下文、多轮对话场景优化 KVCache 的存储与传输效率。 3. 推理性能优化，结合 Continuous Batching、PagedAttention、Chunked Prefill 等机制，协同优化 KVCache 调度策略，分析推理链路中 KVCache 相关的性能瓶颈，进行端到端性能优化，针对主流推理框架（vLLM / SGLang / TensorRT-LLM / RTP-LLM）进行 KVCache 模块的深度优化与定制。 4. 系统可靠性与可观测性建设，建设 KVCache 命中率、内存占用、调度延迟等核心指标的监控体系，保障大规模集群下 KVCache 服务的高可用与容错能力。