通义研究型实习生 - Qwen VLA基础模型研究

任职要求

1. 来自全球Top高校计算机科学、人工智能、机器学习、深度学习、软件工程、自动化、电子、控制相关领域的博士/硕士在读学生。 
2. 在大规模多模态模型训练、VLA/VLN模型设计与训练、（Real2）Sim2Real、机器人感知、抓取、操作、移动、全身控制、规划、导航、智驾等领域有扎实的理论基础和实践经验，并至少在其中一个方向有代表性学术成果或项目经历。
3. 在国际顶级人工智能/机器人的会议/期刊（如NeurIPS、ICML、ICLR、TPAMI，IROS、RSS、CoRL、ICRA、IJRR、T…

工作职责

1. 具身多模态基础模型架构研究： 构建面向机器人的多模态基础模型，将视觉语言模型与机器人中心的物理世界理解与决策深度融合，研究可泛化的（力/触觉）-视觉-语言-状态-动作统一建模和训练方法（包括但不限于：tokenization/latent action/world modeling等技术）；探索“感知-记忆-规划-控制”的端到端或模块化建模和训练范式；研究统一操作，规划，导航等多决策场景统一的建模和训练范式；探索面向长时程任务（系统辨识、历史状态记忆、失败恢复等）的决策。
2. 大规模具身数据构建与训练方法研究：构建可扩展的数据处理管线；研究多数据源的可拓展、高鲁棒使用方法和混合训练方法，包括真机摇操数据、人类视频数据、UMI数据、VQA数据等；探索基于Sim2Real/Real2Sim的数据增强和混合训练技术；建立数据质量评估与采样策略（覆盖度、难度分层、长尾任务挖掘等）。
3. 具身基础模型测评基准与自动化评测系统研究：定义覆盖关键能力和关键场景的有代表性的Benchmark，包括指令理解、物体识别与定位、抓取与操作、导航、工具使用、长任务规划、失败恢复等能力覆盖，厨房、商超、酒旅、户外、工厂等场景覆盖；研究构建高效、可靠、可复现的评测流水线和可用于迭代的指标体系。
4. 高效率、高可靠推理系统研究：将模型在真实机器人平台和主流仿真平台中部署验证，针对延迟、稳定性、安全与可恢复性做工程化增强，研究一套适配具身场景的大规模基础模型端侧/云边协同的推理框架和适配于强化学习训练得推理框架。