小米自动驾驶大模型算法工程师实习生
任职要求
专业背景：计算机、人工智能、电子工程、自动化等相关专业硕士及以上学历在读，有自动驾驶或者多模态大模型经验者优先； 模型落地能力：熟悉多模态模型（如 GPT-4V、LLaVA、InterVL、QwenVL）的工程化应用； 编程与工具：熟练掌握 PyTorch 等工具，具备深度学习模型开发与调优经验； 数据处理能力：具备多模态数据构建与处理经验，能够高效组织数据 pipeline； 实习要求：持续时间不少于6个月
工作职责
该职位专注于自动驾驶场景下多模态大模型（VLA：Vision-Language-Action）的工程化落地，你将有机会在千万级数据上实车验证关于自动驾驶VLA的最新想法： 多模态模型工程化部署：结合视觉、语言与行为动作的联合建模机制，优化多模态模型的推理效率，支持自动驾驶系统的实时应用； 实车测试与性能验证：参与自动驾驶场景中的模型测试与性能评估，设计测试案例，分析模型在实际驾驶环境中的响应能力与行为决策效果； 数据采集与处理：负责多模态数据（视觉、语言、行为）的采集、标注与处理，构建高质量数据 pipeline，优化数据流的实时性与稳定性； 模型优化与轻量化：探索模型蒸馏、小样本泛化等技术，提升模型在自动驾驶复杂场景中的部署效率与资源利用率； 系统集成与技术支持：协助完成多模态模型与自动驾驶系统的集成测试，解决工程化落地过程中的技术问题； 技术文档与成果转化：撰写工程化技术文档，总结实车测试经验，参与技术报告、专利申请或产品转化工作。
该职位专注于自动驾驶场景下多模态大模型（VLA：Vision-Language-Action）的工程化落地，你将有机会在千万级数据上实车验证关于自动驾驶VLA的最新想法： 多模态模型工程化部署：结合视觉、语言与行为动作的联合建模机制，优化多模态模型的推理效率，支持自动驾驶系统的实时应用； 实车测试与性能验证：参与自动驾驶场景中的模型测试与性能评估，设计测试案例，分析模型在实际驾驶环境中的响应能力与行为决策效果； 数据采集与处理：负责多模态数据（视觉、语言、行为）的采集、标注与处理，构建高质量数据 pipeline，优化数据流的实时性与稳定性； 模型优化与轻量化：探索模型蒸馏、小样本泛化等技术，提升模型在自动驾驶复杂场景中的部署效率与资源利用率； 系统集成与技术支持：协助完成多模态模型与自动驾驶系统的集成测试，解决工程化落地过程中的技术问题； 技术文档与成果转化：撰写工程化技术文档，总结实车测试经验，参与技术报告、专利申请或产品转化工作。
1.参与多模态大模型(VLM/VLA)的研发与优化，探索图像、文本、语音等跨模态信息的融合方法，以及在自动驾驶领域的应用； 2.研究并实现前沿的视觉技术（如Diffusion Model、GAN、VAE等），推动技术落地； 3.配合团队完成算法设计、训练、调优及部署，提升模型性能与工程化能力； 4.跟踪领域前沿研究，撰写技术文档和实验报告，参与论文发表或专利申请。
1、参与具身智能算法模型在技能学习、动作规划、抓取操作等应用上的研发，实现多场景多任务的泛化； 2、设计、训练、部署模仿学习、强化学习、迁移学习、多模态学习等算法，构建机器人各类应用的通用技能； 3、与大模型、运控等团队合作，推动具身智能数据集、机器人平台等各项目落地实施； 4、紧跟最新技术进展，将学术界前沿创新内容进行快速复现并创新，参与相关方向的论文与专利积累。
1、自动驾驶多模态算法研究与应用：负责自动驾驶领域的多模态大模型技术研究及算法开发，包括视觉语言模型（VLM）、一段式端到端模型，以及多模态大模型在复杂场景下的技术整合。 2、多模态感知基础模型研究：开展文本（Text）、视觉（Vision）与点云（Point）融合的多模态感知基础模型研究，包括但不限于4D表征、推理（Reasoning）感知、规划等研究方向。 3、视觉-语言-动作（VLA）大模型研究：负责基于视觉-语言-动作（VLA）架构的端到端方案研究，包括数据生产方案、VLA模型架构、效率优化等方向设计与研发。 4、预训练模型研发：研究基于未来帧预测的预训练模型，结合端到端框架设计，探索其在自动驾驶感知、决策与控制闭环中的可行性及性能提升方向。