小米VLA算法实习生
任职要求
1.计算机、人工智能、电子工程、自动化等相关专业硕士及以上学历在读,毕业时间不早于2026年; 2.具备多模态预训练、表征学习或强化学习相关研究经验者优先,熟悉 LLM/VLM/VLA 系列模型架构; 3.有多模态大模型(如 GPT-4V、LLaVA、InterVL、QwenVL)相关背景者优先; 4.熟悉 RLHF、DPO、模型蒸…
工作职责
多模态大模型(VLA:Vision-Language-Action)算法的预研, 包含但不限于: 1. 研究视觉、语言与行为动作之间的联合建模机制,探索多模态预训练与表征学习方法,实现跨模态对齐与融合; 2. 多模态数据集的构建与管理,包括视觉、语言、行为等多模态标签设计与质量控制; 3. 探索模型蒸馏、小样本泛化等技术,推动模型在自动驾驶复杂场景中的部署效率; 4. 跟进并复现前沿研究(如 EMMA、RT-2、OpenVLA等),协助撰写技术报告、论文或专利材料。 5. 深入调研并实践 RLHF / DPO 等对齐技术,提升多模态模型的响应能力与行为决策能力; 6. 撰写高质量的技术文档,参与论文发表或专利申请。
1.负责理想汽车VLA模型方法研发和工程落地,包括但不限于视觉多模态理解、高级指令拆解及多模态policy预测; 2.负责设计高性能上限,具备量产能力的VLA模型算法,对包括但不限于diffusion、VLM等模型算法有实操经验; 3.开发高效离线训练框架,以及可实时运行的在线推理框架,优化模型推理性能,研发模型部署工具链和优化工具; 4.建立云端数据感知/决策联合标注Pipeline、数据挖掘机制以及难样本分析等工具链,通过数据闭环持续选代模型能力。
多模态大模型(VLA:Vision-Language-Action)算法的预研, 包含但不限于: 1. 研究视觉、语言与行为动作之间的联合建模机制,探索多模态预训练与表征学习方法,实现跨模态对齐与融合; 2. 多模态数据集的构建与管理,包括视觉、语言、行为等多模态标签设计与质量控制; 3. 探索模型蒸馏、小样本泛化等技术,推动模型在自动驾驶复杂场景中的部署效率; 4. 跟进并复现前沿研究(如 EMMA、RT-2、OpenVLA等),协助撰写技术报告、论文或专利材料。 5. 深入调研并实践 RLHF / DPO 等对齐技术,提升多模态模型的响应能力与行为决策能力; 6. 撰写高质量的技术文档,参与论文发表或专利申请。
1. 参与人形机器人Vision-Language-Action (VLA)算法的研发,包括数据采集、模型训练与部署、多模态大模型在机器人操作任务中的应用; 2. 负责机器人动力学建模、轨迹优化、实时运动规划算法开发与调优; 3. 探索VLA模型与传统运动规划算法(RRT、轨迹优化、MPC等)的结合方式; 4. 跟踪Learning for Planning / Planning for Learning领域最新进展,推动技术创新; 5. 参与机器人数据集的构建、清洗与标注流程优化;