商汤端到端自动驾驶算法实习生
任职要求
1.计算机视觉，机器学习，电子信息，机器人等相关学科985院校硕士/博士在读； 2.熟练掌握机器学习（特别是深度学习）和计算机视觉（特别是图像处理）的基本方法，了解LLM/VLM的训练流程； 3.有扎实的代码基础和数理能力，熟练掌握Python编程和Pytorch深度学习框架； 4.熟悉端到端自动驾驶领域前沿进展，了解基于深度学习/强化学习的规划控制，RLHF等； 5.有较强的独立解决问题能力，学习能力及沟通能力，具有良好的工作态度，团队合…
工作职责
研发基于视觉文本多模态大模型VLM，深度学习与强化学习的端到端自动驾驶方案，包括但不限于数据集构建，模型设计, 实现, 训练和验证。 - 开发并维护基于端到端自动驾驶大模型训练评测系统的工具链，包括数据处理，自动标注，数据闭环，测试与验证等。 - 探索基于开环模仿学习SFT和闭环强化学习的训练方案。
1. 负责端到端数据生产、数据挖掘和相关工具链开发、维护； 2. 负责端到端模型复现、优化、升级、部署，并验证算法效果，推动算法落地； 3. 运用深度学习、强化学习等技术，优化模型结构等，提高模型在复杂场景下的效果。
我们正在寻找对世界模型与端到端自动驾驶技术充满热情的算法实习生，加入我们的前沿技术研发团队。您将专注于端到端自动驾驶算法的研发，推动其在智能驾驶中的落地应用，为用户提供更安全、更高效的出行体验。 主要职责 1、世界模型与建图研发：开发基于多传感器融合的世界模型，实现高精度地图构建与动态场景理解。 2研究基于NeRF、3DGS等技术的三维场景表示方法，提升地图生成的效率与精度。探索语义地图构建技术，结合深度学习实现道路、车道线、交通标志等元素的自动标注与更新。 3、端到端自动驾驶算法研发：研究端到端自动驾驶算法，结合强化学习、模仿学习等技术，实现从感知到决策的全流程优化。开发基于Transformer架构的多模态融合模型，提升自动驾驶系统的鲁棒性。 4、优化端到端模型的推理速度与计算效率，支持实时决策与控制。模型优化与性能提升：针对自动驾驶场景，优化模型的推理速度和资源占用，确保高性能与低延迟。 5、探索适合大模型的压缩与加速技术（如量化、剪枝、知识蒸馏），适配车载硬件平台。 6、前沿技术探索：持续跟踪世界模型、端到端自动驾驶、具身智能等领域的最新技术趋势。提出创新性解决方案，结合业务需求推动技术突破。
1. 协助研发基于强化学习（RL）或模仿学习（IL）的自动驾驶决策规划算法，解决复杂交通场景下的车辆行为决策与运动规划问题； 2. 参与构建和优化用于训练决策模型的数据处理流程，包括特征工程、场景提取、奖励函数设计及大规模数据集处理； 3. 负责或参与相关算法的仿真测试、实车调试、性能评估与迭代优化，推动算法在真实环境中的性能提升和落地； 4. 跟踪并调研强化学习、模仿学习、行为预测等领域的国际前沿动态与最新研究成果（如顶会论文CVPR, ICRA, NeurIPS, ICML等），并尝试将其应用于实际项目； 5. 协助端到端自动驾驶大模型或相关子模块的研发与优化工作。
1.研发基于多传感器（激光雷达、摄像头等）的4D时空场景重建和生成算法，融合时序信息实现动态物体和静态场景高精度建模； 2.研发场景生成、可交互视频生成等技术，支持自动驾驶场景的高保真场景生成，用于端到端自动驾驶算法的闭环仿真和强化学习训练； 3.结合闭环仿真结果，对场景生成相关算法进行迭代，推动端到端自动驾驶系统的联合优化。