小鹏汽车VLA大模型算法实习生
任职要求
1、学历与专业: 计算机、自动化、机器人、人工智能、数学等相关专业,硕士及以上学历 2、有端到端自动驾驶(如UniAD)或VLA模型(如RT-2)等在机器人/自动驾驶领域的应用经验; 3、具备良好的数理功底以及代码能力…
工作职责
1、负责VLA自动驾驶大模型的研发及在车端量产落地等工作; 2、解决VLA在实际量产项目中的问题,基于 Agent 开发自动化问题分析工具; 3、参与构建高质量 VLA Benchmark 系统,包括场景挖掘、难例挖掘及模型评测(Reward Model)等。
1. 负责VLA大模型的端/云基座大模型架构设计与优化、多模态融合训练策略优化; 2. 参与预训练、COT、逻辑推理、数据合成等数据建设与质量提升; 3. 负责模型轻量化能力建设,蒸馏、kvcache压缩、稀疏注意力机制设计与优化; 4. 负责基座大模型核心能力建设,逻辑推理与决策能力、代码能力等。

1. 参与多模态理解与生成大模型、VLA大模型所需的数据清洗和自动标注系统开发,确保各类型/模态数据的质量与多样性,探索高效的数据增强和数据合成方法; 2. 机器人领域大模型的数据采集设计、数据管理、数据质量评测 3. 机器人领域大模型的算法训练,保证模型在多任务、多机器本体的成功应用,机器人大模型训练统一框架的设计 4. 复现并优化主流具身智能范式:如 Diffusion Policy、RT-2、Octo、GR00T、π0、π0.5、πRL等; 5. 将训练好的VLA/VLN模型部署至真实机器人平台
负责VLA(视觉-语言-行动)多模态大模型在自动驾驶和机器人场景中的前沿算法研究,涵盖场景理解、语义引导决策、时空建模等核心能力; 主导VLA模型预研,构建可泛化、高可解释性的多模态基座大模型,为未来6~12个月技术演进提供基础支撑; 与高校及实习生协作,探索VLA的长期发展方向,包括表征学习,具身智能、慢系统蒸馏快系统等核心议题; 撰写高水平论文、技术文档,推动VLA方向在CVPR、NeurIPS、ICLR、CoRL等会议中的学术影响力。
深度参与具身智能“感知-决策-行动”技术全链路的技术攻关,在以下一个或多个方向上进行深入研究: 1.感知与决策规划:提升多模态大模型在具身场景下的能力表现,包括在复杂动态环境中对物体位姿、状态、物理属性的精准理解,以及对复杂任务的任务推理与拆解能力。 2.行动与控制:基于真机示教数据以及海量互联网视频数据,训练机器人掌握高精度的操作技能。在机器人上研究并实践强化学习算法,优化机器人的动作策略,提升其在物理世界中的动作鲁棒性和技能泛化。 3.仿真与虚实迁移:参与构建高逼真度的物理仿真环境(如 Isaac Sim, SAPIEN 等),用于大规模、低成本地训练和验证具身智能算法。