小米自动驾驶大模型算法工程师
任职要求
1. 自然语言处理、计算机视觉、人工智能相关领域的硕士或博士学位; 2. 计算机基础扎实,熟悉数据结构与算法; 3. 有较强的学习能力、沟通能力、解决问题的能力; 4. 具有大语言模型、多模态大模型、生成式模型、世界模型等算法背景; 5. 具备扎实的研…
工作职责
1. 参与研发自动驾驶云端VLM/VLA大模型,服务于数据挖掘、数据标注、算法评测等业务需求; 2. 跟踪最新的自动驾驶、具身智能相关前沿技术,并进行技术调研和原型验证; 3. 撰写高水平专利/论文。
深入理解自动驾驶算法逻辑,负责数据闭环系统架构与开发,设计并实现高效可扩展的数据闭环平台,覆盖数据挖掘、数据标注、数据集管理、模型训练评估和部署全链路,以支持模型开发: 1)搭建面向自动驾驶大模型的数据生产系统,涵盖数据清洗、增强、合成与标注全流程; 2)构建数据版本管理与回溯系统,实现数据集迭代过程的可追踪性,满足模型训练合规要求; 3)负责自动化标注与数据流水线,构建与迭代自动化、半自动化标注工具链(如大模型预标注、人机协同标注),提升数据产出的效率与质量; 4)与算法工程师及AI基础架构团队紧密合作,建设相关平台工具,提升自动驾驶模型的迭代效率和效果。
1. 端到端自动驾驶建模:参与、设计及实现端到端的自动驾驶建模方法,搭建从传感器数据到行为决策的端到端模型。 2. 多模态大模型在自动驾驶场景中的适配和优化:如:大模型指令微调和策略迭代、开放场景下的目标识别技术等,以适应不同的自驾场景,并提高模型的鲁棒性和泛化能力。 3. 基于生成模型的离线感知能力建设,研发基于扩散模型的场景生成技术和仿真技术。开发离线生成-真实数据闭环系统。
1.负责研发和落实理想汽车下一代自动驾驶端到端VLA大模型算法,确保在车载和云端平台的成功部署。 2.专注于端到端大模型自动驾驶系统的算法开发和优化,包括但不限于端到端模型、多模态大模型等领域。 3.参与大规模自动驾驶数据集的处理、标注及管理,优化大模型以提升自动驾驶系统的性能。 4.持续关注并跟踪自动驾驶及人工智能领域的最新技术进展,进行技术调研及新技术的原型验证。
该职位专注于自动驾驶场景下多模态大模型(VLA:Vision-Language-Action)的工程化落地,你将有机会在千万级数据上实车验证关于自动驾驶VLA的最新想法: 多模态模型工程化部署:结合视觉、语言与行为动作的联合建模机制,优化多模态模型的推理效率,支持自动驾驶系统的实时应用; 实车测试与性能验证:参与自动驾驶场景中的模型测试与性能评估,设计测试案例,分析模型在实际驾驶环境中的响应能力与行为决策效果; 数据采集与处理:负责多模态数据(视觉、语言、行为)的采集、标注与处理,构建高质量数据 pipeline,优化数据流的实时性与稳定性; 模型优化与轻量化:探索模型蒸馏、小样本泛化等技术,提升模型在自动驾驶复杂场景中的部署效率与资源利用率; 系统集成与技术支持:协助完成多模态模型与自动驾驶系统的集成测试,解决工程化落地过程中的技术问题; 技术文档与成果转化:撰写工程化技术文档,总结实车测试经验,参与技术报告、专利申请或产品转化工作。