商汤IAG-多模态大模型工程师
任职要求
1、计算机、自动化、电子工程、数学或相关专业硕士及以上学历 2、深入理解强化学习的理论与方法，熟悉大模型训练与优化技术，具备将复杂理论模型工程化落地的经验 3、优秀的逻辑思维…
工作职责
1、负责自动驾驶方向VLA/VLM/端到端算法的研究和落地 2、强化学习算法研发：设计、研究和优化针对自动驾驶场景的大规模强化学习算法，提升系统的鲁棒性与泛化能力。 3、模型落地与优化：探索强化学习模型在自动驾驶中的应用场景，负责从理论到工程实践的全流程落地，实现模型高效训练与在线部署。
1. 业务研发：负责车载大模型应用相关设计与开发：负责Android应用的架构设计、编码、测试和部署。编写核心代码，借助安卓开发框架集成大模型能力，实现流畅交互，搭建车载大模型应用，包括多模态沿途风光、主驾迎宾等功能模块； 2. 技术研究：跟踪最新的Android技术发展趋势，评估和实施新技术以提升应用性能。针对大模型在安卓平台应用，探索模型轻量化、推理加速等手段，减少资源占用，实现移动端高效运行；
1. 数据采集系统牵头设计与实施 (核心)： - 牵头自动驾驶数据采集系统的整体架构设计、技术选型与方案制定，涵盖传感器（摄像头、激光雷达、毫米波雷达、GNSS/IMU、CAN总线等）数据同步、采集、压缩、加密、上传等全链路。 - 制定并维护数据采集规范与策略，包括触发条件（场景触发、问题触发、定时触发）、采集频率、数据格式、存储周期、优先级等。 - 牵头解决数据采集过程中的技术难题和性能瓶颈（如带宽限制、存储空间、同步精度、丢帧问题）。 2. 数据管理体系构建与运维 (核心)： - 牵头设计、搭建和维护大规模、多模态自动驾驶数据存储与管理平台（如基于对象存储、分布式文件系统、数据库等）。 - 建立并主导执行数据的全生命周期管理策略，包括数据接入、清洗、标注（与标注团队协作）、存储、版本控制、归档、销毁等流程。 3. 跨团队协作与需求对接： - 作为数据平台的核心接口人，主动对接感知、规划控制、仿真、测试、地图等下游团队的数据需求，理解其业务场景（如特定Corner Case收集、模型训练数据需求、问题复现数据需求），并将其转化为数据采集和管理方案。 4. 工具链开发与流程规范： - 主导或参与开发内部数据管理工具和平台功能，提升数据操作效率（如数据检索、样本提取、质量检查工具）。 - 建立、维护和推广数据采集、存储、治理、使用的流程规范、操作手册和标准。
1、研发基于VLM/多模态大模型的数据挖掘算法，精准识别自动驾驶长尾场景（如极端天气、复杂交通参与行为、罕见障碍物等）； 2、构建高效的自动化数据挖掘Pipeline，提升数据标签质量并降低标注成本； 3、结合点云、图像、文本等多模态数据，设计多模态特征，支持数据的跨模态检索；
工作职责： 1、参与智能驾驶端到端模型的开发工作，包括但不限于数据处理、模型设计、训练和优化等环节，提升模型在复杂交通场景下的感知、决策和控制能力； 2、结合实际业务需求，对端到端模型进行针对性的优化和调整，确保模型能够准确、高效地处理智能驾驶中的各种任务； 3、参与两段式端到端业务和一端式端到端业务的探索和实践，深入了解不同业务模式的特点和需求，为团队在业务模式选择和优化方面提供有价值的见解和建议；