小米顶尖应届-具身基座VLA大模型工程师-汽车

1. 参与研究与开发融合视觉与语言理解的端到端机器人新范式； 2. 负责视觉语言大模型（VLA）相关算法的设计、实现与优化，提升模型的环境感知、决策规划能力； 3. 探索如何利用VLA增强机器人的泛化能力及人机交互的自然性； 4. 参与相关数据集的构建、处理以及模型在真实场景中的部署与测试； 5. 跟踪VLA及相关领域（多模态学习、大模型等）的前沿技术动态； 6. 发表高水平论文至国际顶会顶刊，参加相关领域的国内外顶级学术会议。 【课题名称】 具身基座VLA大模型预研 【课题内容】 探索如何利用VLA与Foundation Model技术提升机器人的环境理解、任务规划与泛化执行能力，构建面向未来的通用智能体。

1、围绕视觉-语言-动作 (VLA) 模型与具身世界模型方向，研发面向机器人感知、理解、预测、决策与动作生成的一体化算法，推动多模态端到端模型在复杂场景中的能力上限。 2、具身大模型全生命周期研发，包括模型架构设计、预训练、后训练、评测与部署，持续优化模型在真实任务中的成功率、鲁棒性与泛化能力。 3、主导或参与视觉/动作编码器、多模态表征学习、离散/连续tokenizer等核心模块研发，提升模型对视觉、动作、时空信息的压缩、建模与生成能力。 4、与数据、Infra等团队，推动数据-训练-测评的协同迭代。 5、跟踪具身智能、多模态大模型、生成式建模等前沿方向，复现并创新相关方法，推动高水平论文、开源项目及专利产出。

1、负责具身大模型训练与推理基础设施的架构设计、搭建与优化，支撑大规模预训练、持续训练、强化学习及在线/离线推理任务稳定高效运行。 2、基于Megatron-LM、DeepSpeed、FSDP等分布式训练框架，设计并优化数据并行、张量并行、流水并行、专家并行等策略，支撑大参数量多模态模型训练。 3、深耕大模型训练性能优化，包括显存占用、算力利用率、通信效率、checkpoint与断点续训、训练稳定性等关键问题，提升训练吞吐与资源效率。 4、负责推理系统优化与部署，覆盖自回归模型、Diffusion模型及MoE模型等典型架构，提升推理链路在吞吐、延迟、显存占用和稳定性方面的综合表现。 5、推动量化、算子融合、图优化、显存复用、服务化部署等推理加速技术落地，支撑具身大模型在云端或端上环境的部署。 6、与算法、数据、平台团队紧密协作，完善训练配置、日志监控、指标可视化、故障定位等工具链，提升研发效率与工程标准化水平。

1、负责具身大模型多模态数据体系建设，覆盖图像、视频、语言、图文交错、动作轨迹、机器人交互等数据类型，支撑模型训练、评测与迭代。 2、设计并搭建大规模数据处理与生产管线，包括数据采集、清洗、标注、筛选、标准化、混合配比、质量评估与版本管理，保障数据全生命周期高效运转。 3、面向预训练、持续训练、SFT、强化学习等不同阶段，制定适配的数据策略与处理方案，提升数据利用效率与训练效果。 4、针对多模态具身大模型任务特点，解决跨模态对齐、时序一致性、动作标注、数据稀疏性与分布不均衡等问题，持续优化数据质量。 5、联合数据平台、模型与机器人团队，建设自动化数据回放、质检、追溯与评测体系，形成可复用、可迭代的数据基础设施。 6、跟踪多模态数据处理、自动标注与数据质量评估等方向的前沿技术，推动数据体系持续升级。