小米自动驾驶多模态端到端感知算法实习生
1. 探索自动驾驶领域感知模型算法的研究和优化,持续探索感知模型的时空表征、感知能力; 2. 探索自动驾驶领域端到端模型、多模态大模型、强化学习等前沿技术算法的研发和优化;
1. 探索自动驾驶领域感知模型算法的研究和优化,持续探索感知模型的时空表征、感知能力; 2. 探索自动驾驶领域端到端模型、多模态大模型、强化学习等前沿技术算法的研发和优化;
1、自动驾驶多模态算法研究与应用:负责自动驾驶领域的多模态大模型技术研究及算法开发,包括视觉语言模型(VLM)、一段式端到端模型,以及多模态大模型在复杂场景下的技术整合。 2、多模态感知基础模型研究:开展文本(Text)、视觉(Vision)与点云(Point)融合的多模态感知基础模型研究,包括但不限于4D表征、推理(Reasoning)感知、规划等研究方向。 3、视觉-语言-动作(VLA)大模型研究:负责基于视觉-语言-动作(VLA)架构的端到端方案研究,包括数据生产方案、VLA模型架构、效率优化等方向设计与研发。 4、预训练模型研发:研究基于未来帧预测的预训练模型,结合端到端框架设计,探索其在自动驾驶感知、决策与控制闭环中的可行性及性能提升方向。
我们正在寻找对世界模型与端到端自动驾驶技术充满热情的算法实习生,加入我们的前沿技术研发团队。您将专注于端到端自动驾驶算法的研发,推动其在智能驾驶中的落地应用,为用户提供更安全、更高效的出行体验。 主要职责 1、世界模型与建图研发:开发基于多传感器融合的世界模型,实现高精度地图构建与动态场景理解。 2研究基于NeRF、3DGS等技术的三维场景表示方法,提升地图生成的效率与精度。探索语义地图构建技术,结合深度学习实现道路、车道线、交通标志等元素的自动标注与更新。 3、端到端自动驾驶算法研发:研究端到端自动驾驶算法,结合强化学习、模仿学习等技术,实现从感知到决策的全流程优化。开发基于Transformer架构的多模态融合模型,提升自动驾驶系统的鲁棒性。 4、优化端到端模型的推理速度与计算效率,支持实时决策与控制。模型优化与性能提升:针对自动驾驶场景,优化模型的推理速度和资源占用,确保高性能与低延迟。 5、探索适合大模型的压缩与加速技术(如量化、剪枝、知识蒸馏),适配车载硬件平台。 6、前沿技术探索:持续跟踪世界模型、端到端自动驾驶、具身智能等领域的最新技术趋势。提出创新性解决方案,结合业务需求推动技术突破。