地平线VLA算法实习生
任职要求
【任职要求】 1、计算机、数学等相关专业在读硕士及以上学历； 2、具备扎实的数学和机器学习基础； 3、具有较强的编程能力、英文文献阅读能力、自我学习能力； 4、实习时间6个月以上，自我驱动，针对某一个方向独立深入研究，或参与主版本迭代。 【课题背景】 在自动驾驶等复杂场景中，智能系统需要对高吞吐、长时序的视觉流进行实时处理，同时兼顾低延迟、长时记忆与资源高效性。传统视觉语言动作（VLA）模型在处理 30 秒级视频时，token 规模可达百亿级，…
工作职责
【岗位职责】 -突破时序编码瓶颈：引入 Test-time-training 等技术，实现对物理世界时序信息的高效压缩与编码，在保持性能的同时，将 token 规模与算力开销降至可部署级别。 -构建场景化 VLA 数据体系：基于驾驶场景，构建覆盖空间感知、时序行为、长尾场景与因果推理的结构化数据体系，提升模型对物理世界的理解深度。 -实现实时闭环决策：在车载边缘设备上实现 24FPS 以上的实时推理，让模型从 “被动感知” 进化为 “主动决策”，支撑自动驾驶的长程规划与安全交互。
多模态大模型（VLA：Vision-Language-Action）算法的预研, 包含但不限于： 1. 研究视觉、语言与行为动作之间的联合建模机制，探索多模态预训练与表征学习方法，实现跨模态对齐与融合； 2. 多模态数据集的构建与管理，包括视觉、语言、行为等多模态标签设计与质量控制； 3. 探索模型蒸馏、小样本泛化等技术，推动模型在自动驾驶复杂场景中的部署效率； 4. 跟进并复现前沿研究（如 EMMA、RT-2、OpenVLA等），协助撰写技术报告、论文或专利材料。 5. 深入调研并实践 RLHF / DPO 等对齐技术，提升多模态模型的响应能力与行为决策能力； 6. 撰写高质量的技术文档，参与论文发表或专利申请。
多模态大模型（VLA：Vision-Language-Action）算法的预研, 包含但不限于： 1. 研究视觉、语言与行为动作之间的联合建模机制，探索多模态预训练与表征学习方法，实现跨模态对齐与融合； 2. 多模态数据集的构建与管理，包括视觉、语言、行为等多模态标签设计与质量控制； 3. 探索模型蒸馏、小样本泛化等技术，推动模型在自动驾驶复杂场景中的部署效率； 4. 跟进并复现前沿研究（如 EMMA、RT-2、OpenVLA等），协助撰写技术报告、论文或专利材料。 5. 深入调研并实践 RLHF / DPO 等对齐技术，提升多模态模型的响应能力与行为决策能力； 6. 撰写高质量的技术文档，参与论文发表或专利申请。
【岗位职责】 -突破时序编码瓶颈：引入 Test-time-training 等技术，实现对物理世界时序信息的高效压缩与编码，在保持性能的同时，将 token 规模与算力开销降至可部署级别。 -构建场景化 VLA 数据体系：基于驾驶场景，构建覆盖空间感知、时序行为、长尾场景与因果推理的结构化数据体系，提升模型对物理世界的理解深度。 -实现实时闭环决策：在车载边缘设备上实现 24FPS 以上的实时推理，让模型从 “被动感知” 进化为 “主动决策”，支撑自动驾驶的长程规划与安全交互。
1. VLA/VLN算法开发：研究并实现Vision-Language-Action (VLA) / Vision-Language Navigation（VLN）算法，使机器人能够根据自然语言指令以及当前场景进行自主移动； 2. 多模态融合：开发视觉、语言、地图等多模态信息融合模块，提升导航决策的准确性； 3. 场景理解：实现基于视觉和语言的场景语义理解，支持复杂环境下的目标定位与路径规划； 4. 模型训练与优化：负责VLA/VLN模型的训练、调优及推理性能优化； 5. 数据与评测：参与导航数据集构建、评测指标设计及Benchmark开发。