小米VLA算法实习生
实习兼职地点:上海状态:招聘
任职要求
1.计算机、人工智能、电子工程、自动化等相关专业硕士及以上学历在读,毕业时间不早于2026年; 2.具备多模态预训练、表征学习或强化学习相关研究经验者优先,熟悉 LLM/VLM/VLA 系列模型架构; 3.有多模态大模型(如 GPT-4V、LLaVA、InterVL、QwenVL)相关背景者优先; 4.熟悉 RLHF、DPO、模型蒸…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
多模态大模型(VLA:Vision-Language-Action)算法的预研, 包含但不限于: 1. 研究视觉、语言与行为动作之间的联合建模机制,探索多模态预训练与表征学习方法,实现跨模态对齐与融合; 2. 多模态数据集的构建与管理,包括视觉、语言、行为等多模态标签设计与质量控制; 3. 探索模型蒸馏、小样本泛化等技术,推动模型在自动驾驶复杂场景中的部署效率; 4. 跟进并复现前沿研究(如 EMMA、RT-2、OpenVLA等),协助撰写技术报告、论文或专利材料。 5. 深入调研并实践 RLHF / DPO 等对齐技术,提升多模态模型的响应能力与行为决策能力; 6. 撰写高质量的技术文档,参与论文发表或专利申请。
包括英文材料
学历+
强化学习+
https://cloud.google.com/discover/what-is-reinforcement-learning?hl=en
Reinforcement learning (RL) is a type of machine learning where an "agent" learns optimal behavior through interaction with its environment.
https://huggingface.co/learn/deep-rl-course/unit0/introduction
This course will teach you about Deep Reinforcement Learning from beginner to expert. It’s completely free and open-source!
https://www.kaggle.com/learn/intro-to-game-ai-and-reinforcement-learning
Build your own video game bots, using classic and cutting-edge algorithms.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
还有更多 •••
相关职位
实习算法与软件
1.负责理想汽车VLA模型方法研发和工程落地,包括但不限于视觉多模态理解、高级指令拆解及多模态policy预测; 2.负责设计高性能上限,具备量产能力的VLA模型算法,对包括但不限于diffusion、VLM等模型算法有实操经验; 3.开发高效离线训练框架,以及可实时运行的在线推理框架,优化模型推理性能,研发模型部署工具链和优化工具; 4.建立云端数据感知/决策联合标注Pipeline、数据挖掘机制以及难样本分析等工具链,通过数据闭环持续选代模型能力。
北京
实习
1. 参与人形机器人Vision-Language-Action (VLA)算法的研发,包括数据采集、模型训练与部署、多模态大模型在机器人操作任务中的应用; 2. 负责机器人动力学建模、轨迹优化、实时运动规划算法开发与调优; 3. 探索VLA模型与传统运动规划算法(RRT、轨迹优化、MPC等)的结合方式; 4. 跟踪Learning for Planning / Planning for Learning领域最新进展,推动技术创新; 5. 参与机器人数据集的构建、清洗与标注流程优化;
更新于 2025-12-01深圳
实习
1. 负责研发基于机器人作业场景的重建/生成/编辑等功能 Modeling the 3D Physical World for Embodied AI. 2. 负责机器人仿真器环境部署、算法训练开发,算法真机部署,实现仿真算法Sim2Real的zero-short迁移。 3. 负责vlm,vla机器人基座大模型数据生产,模型训练,验证等。
更新于 2025-05-15北京