理想汽车AI大模型分布式推理专家

1. 训练加速系统设计与优化 1) 主导千亿参数大模型的分布式训练架构设计，优化通信效率，突破显存与计算瓶颈。 2) 研发长序列训练加速技术，支持百万级上下文窗口训练，降低计算复杂度与内存占用。 3) 设计混合精度训练方案（FP16/FP8）与梯度累积策略，结合模型并行、流水线并行等技术，提升训练吞吐量 30% 以上。 2. 推理系统优化与工程化落地 1) 构建高性能推理引擎，基于 vLLM、TensorRT-LLM 等框架实现多模态模型的分布式推理，支持 MoE 架构与动态专家激活策略。 2) 研发模型压缩技术（量化、剪枝、LoRA），将端到端延迟降低，同时保持模型精度损失 3. 基础设施全流程优化 1) 优化训练与推理的 I/O 性能，通过异步并发、缓存预取等技术减少数据加载耗时。 2) 设计训练 - 推理一体化监控平台，实时追踪模型性能指标（如训练 loss 波动、推理 QPS），实现异常自动告警与弹性扩缩容。

我们正在寻找业界顶尖的系统专家，加入我们的AI基础架构团队，共同设计和构建下一代生成式AI的“在线服务操作系统”。您的使命是解决将前沿AI能力（大模型、AI Agent、多模态等）转化为大规模、高效率、高可用在线服务时所面临的系统性、全栈性挑战。您将负责端到端的服务性能与架构演进，从顶层应用到底层硬件，全面提升AI服务的竞争力。 具体职责包括（若你对以下一个或者多个方向感兴趣均欢迎投递）： 1. 大规模模型服务平台与智能调度系统设计： (1)负责承载大规模在线模型服务（Serving）平台的核心架构设计与演进，通过对底层推理引擎（如PAI平台提供）的深度适配与协同优化，实现极致的推理吞吐与资源利用率。 (2)设计并实现面向复杂混合负载（长/短序列长度、多Lora、多模型、异构资源、多租户、高/低优先级）的上层智能请求调度与资源管理系统，通过与推理引擎的深度协同，动态调整调度策略，保障服务质量（SLA）并最大化云上服务的性价比。 2. 分布式基础设施与底层硬件优化： (1)负责面向大规模模型服务的分布式推理拓扑管理与通信计算协同优化，针对张量并行、流水线并行等场景，优化跨节点通信（InfiniBand/RoCE, NVLink），降低端到端延迟。 (2)深入理解GPU、NPU等异构硬件架构与特性，负责从服务层面对底层计算、编译优化（由PAI等引擎团队提供）进行性能评测、分析与反馈，驱动端到端的硬件效能提升。 3. AI应用层运行时与算法协同优化： (1)深入AI Agent、检索增强生成（RAG）、多模态理解等复杂应用场景，设计并优化其专用的高效运行时（Runtime），解决长链条、多依赖、异步任务流的性能瓶颈。 (2)负责高性能向量检索（Vector Search）与图计算（Graph Computing）引擎的服务化与集成，优化其在RAG和复杂推理场景下的数据访问与计算效率，实现数据层与模型层的无缝高效协同。

1、负责企业级AI研发一体化平台的产品规划、设计、落地及推广，推动产品快速迭代升级，打造覆盖算法开发全流程的一站式工具链； 2、负责算法平台架构设计，包括但不限于模型训练、模型评估、模型推理、流程编排、资源管理等核心模块，支撑业务完成数据及算法闭环； 3、以跨业务线的需求作为切入点，深入具体业务进行迭代产品，对公共功能模块进行平台化抽象，完成对平台产品的定义，先于业务线产品的需求提前进行探索性的工作； 4、负责产品的项目管理，推动设计、技术、测试等相关团队及合作部门按时完成产品研发、高质量上线，完成产品目标； 5、熟悉算法开发的全流程，了解PyTorch、Tensorflow等常用深度学习算法框架，熟悉模型分布式训练原理及高性能推理引擎，能够针对业务算法工程化需求提供专业的产品解决方案。

1. 负责开发和优化CV模型推理和大模型推理优化； 2. 持续优化推理服务性能，提升吞吐，降低延迟并优化整体成本； 3. 负责机器学习系统前瞻技术的调研和引入。