理想汽车NPU运行时开发专家
任职要求
1.计算机相关专业,5年以上工作经验,3年以上芯片Firmware开发、调试和测试经验; 2.熟悉ARM/RISC-V架构,熟悉NEON/RVV向量指令优化; 3.熟悉CNN/Transformer等常见算法及CONV/GEMM NPU加速原理; 4.熟悉AI模型端到端推理部署链路优先; 5.有NPU Firmware/Scheduler/Inference Runtime开发和量产交付经验优先; 6.熟悉linux kernel内存管理/进程管理/系统调用等核心机制,具备os开发相关经验者优先。
工作职责
1.NPU Firmware方案设计、开发与交付; 2.收集软件开发需求,参与NPU指令集架构定义; 3.Pre-silicon阶段协同架构/DV/CV团队建立验证基础设施,支持C-Model/Simulation/Emulation平台算子开发和整网串联; 4.Post-silicon阶段NPU Bringup; 5.编译工具链联调交付、支持编译器和算法工程团队进行问题定位分析; 6.支持自动驾驶模型整网在VDK/Zebu平台端到端部署。
● 设计和实现高效的分布式推理架构,提升多节点、多GPU环境下的推理速度和资源利用率。开发智能的请求调度算法,确保高并发场景下的最优响应时间和吞吐量。对推理引擎的运行时环境进行深度优化,减少延迟,提高整体性能。针对多种异构AI加速硬件(如NVIDIA GPU, AMD GPU, NPU等),对核心算子进行极致性能优化,最大化算力和访存带宽利用率。 ● 探索并实现极低bit量化技术和稀疏化,减少模型存储和计算资源消耗,同时保持推理精度。探索更高效的解码算法,提升生成任务的推理速度。 ● 设计并实现能够处理大规模并发请求的系统架构,确保极端负载下的稳定性和性能。引入容错机制、自动恢复和监控报警系统,保证系统的高可用性和稳定性。构建灵活的系统架构,支持动态扩展,以应对未来业务增长和技术演进的需求。 ● 持续关注并跟进业界技术发展,尤其是超长上下文、COT思维链、多模态融合等方向。积极尝试和探索新的推理优化方向,提出并验证创新性的解决方案。
1、跟踪业界最新强化学习领域算法/训练范式进展,完成大模型强化学习训练框架的设计与实现,提升大集群分布式训练性能,缩短模型迭代周期; 2、负责大模型SFT/蒸馏训练框架的设计与实现,提升分布式训练性能; 3、负责分布式大模型推理引擎的方案设计与实现,快速完成业界Sota模型的规模化上线服务; 4、负责异构计算芯片(GPU/NPU/ASIC等)的评估、选型以及计算加速引擎设计实现。
概括 想象一下您在这里能做什么! 在小米,新想法可以很快变成非凡的产品、服务和客户体验。 对工作充满真诚热爱,您将取得的成就前所未有。 充满活力、勤奋的员工和鼓舞人心的创新技术是这里的常态。 在这里工作的人通过小米的硬件和软件产品影响整个行业。 加入我们,帮助推出下一个突破性的小米产品。 本团队正在开展小米AI领域的硬件/软件协同设计创新,以实现高效AI推理 我们正在寻找一位积极主动的研究工程师加入我们的团队,他/她应具有强大的AI系统背景和软件开发实践经验。 该职位的理想人选是一位研究人员和工程师,他/她将不断突破现有界限,并以影响小米内部外部合作伙伴和更广泛的研究社区来实现设想。 描述: 您将主要专注于构建端侧AI模型、编译器、推理框架的优化,以便在所有小米手机上高效的AI推理 开发高效的调试工具链,以便找到从模型本身到AI芯片或者CPU运算单元每一个环节的瓶颈点 与业界最佳成果进行对标,挖掘优化点,识别优先级,与相关团队配合论证可行性,并且最终落地优化成果 总结你的优化经验,整合小米从软件到芯片的能力,让开发者可以迭代模型创作、优化、转换、执行、调试、分析
概括 想象一下您在这里能做什么! 在小米,新想法可以很快变成非凡的产品、服务和客户体验。 对工作充满真诚热爱,您将取得的成就前所未有。 充满活力、勤奋的员工和鼓舞人心的创新技术是这里的常态。 在这里工作的人通过小米的硬件和软件产品影响整个行业。 加入我们,帮助推出下一个突破性的小米产品。 本团队正在开展小米AI领域的硬件/软件协同设计创新,以实现高效AI推理 我们正在寻找一位积极主动的研究工程师加入我们的团队,他/她应具有强大的AI系统背景和软件开发实践经验。 该职位的理想人选是一位研究人员和工程师,他/她将不断突破现有界限,并以影响小米内部外部合作伙伴和更广泛的研究社区来实现设想。 描述: 您将主要专注于构建端侧AI模型、编译器、推理框架的优化,以便在所有小米手机上高效的AI推理 开发高效的调试工具链,以便找到从模型本身到AI芯片或者CPU运算单元每一个环节的瓶颈点 与业界最佳成果进行对标,挖掘优化点,识别优先级,与相关团队配合论证可行性,并且最终落地优化成果 总结你的优化经验,整合小米从软件到芯片的能力,让开发者可以迭代模型创作、优化、转换、执行、调试、分析