理想汽车AI推理引擎研发工程师-上海
任职要求
1. 硕士及以上学历，计算机、电子、通信、自动化等相关专业； 2. 熟练掌握C/C++编程语言，具备良好的数据结构及算法基础； 3. 熟悉深度学习 AI 原理及应用，掌握自动驾驶模型或者大语言模型原理，有 TensorRT/TVM/MLIR 等工程应用或框架开发经验； 4. 掌握异构/并行计算方法，熟悉 GPU/NPU 运行时原理，有异构调度或者实时任务调度系统经验； 5. 有很好的团队合作精神，主观能动性强，清晰的逻辑思维和表达能力； 6. 具备以下任意一项技能者优先：具有Linux/RTOS开发和调试经验、做过驱动开发、熟悉内核调度算法、具备程序设计/机器人/智能驾驶等比赛参赛并获奖。
工作职责
1. 负责 AI 推理引擎的模型加载、解析、执行等功能研发及测试； 2. 负责 AI 推理引擎的应用开发及验证，性能分析及优化； 3. 负责端到端异构 AI 调度系统的设计开发，优化验证； 4. 负责自动驾驶业务 AI 模型工程适配、实车验证及落地支持。
1、参与/负责研发面向大规模稀疏参数机器学习模型的等推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 3、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成； 4、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、推荐系统等；
1.研发及优化大模型推理引擎、PD分离推理调度系统； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
1. 参与设计和实现AI芯片上的推理引擎SDK，包括代码生成、图优化、算子实现/优化以及系统运行时的方面。 2. 参与设计和实现AI芯片上的大语言模型推理框架。进行功能实现和性能优化。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环，具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀，基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务，支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地！ 大模型训练方向： 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline； 2、研发支持多机多卡RL的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决RL算法在超长时序下的显存/通信瓶颈； 3、基于自建的训推引擎，落地公司统一的大模型生产部署平台，为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向： 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地。 大模型推理方向： 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，支撑各业务方向持续降本增效； 3、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向： 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现万亿级并行推理系统； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。