小米顶尖应届-具身大模型训练推理工程师-XiaomiRobotics
任职要求
1、硕士及以上学历，计算机科学、软件工程、人工智能等相关专业，具备大模型训练Infra、推理加速或分布式系统研发经验。 2、熟悉Megatron-LM、DeepSpeed、FSDP等主流分布式训练框架，理解数据并行、模型并行、张量并行、流水并行、专家并行等核心机制。 3、熟练掌握Python/C++，熟悉PyTorch等深度学习框架，具备扎实的工程实现、性能分析与问题排查能力。 4、理解Transfor…
工作职责
1、负责具身大模型训练与推理基础设施的架构设计、搭建与优化，支撑大规模预训练、持续训练、强化学习及在线/离线推理任务稳定高效运行。 2、基于Megatron-LM、DeepSpeed、FSDP等分布式训练框架，设计并优化数据并行、张量并行、流水并行、专家并行等策略，支撑大参数量多模态模型训练。 3、深耕大模型训练性能优化，包括显存占用、算力利用率、通信效率、checkpoint与断点续训、训练稳定性等关键问题，提升训练吞吐与资源效率。 4、负责推理系统优化与部署，覆盖自回归模型、Diffusion模型及MoE模型等典型架构，提升推理链路在吞吐、延迟、显存占用和稳定性方面的综合表现。 5、推动量化、算子融合、图优化、显存复用、服务化部署等推理加速技术落地，支撑具身大模型在云端或端上环境的部署。 6、与算法、数据、平台团队紧密协作，完善训练配置、日志监控、指标可视化、故障定位等工具链，提升研发效率与工程标准化水平。
1、负责具身大模型多模态数据体系建设，覆盖图像、视频、语言、图文交错、动作轨迹、机器人交互等数据类型，支撑模型训练、评测与迭代。 2、设计并搭建大规模数据处理与生产管线，包括数据采集、清洗、标注、筛选、标准化、混合配比、质量评估与版本管理，保障数据全生命周期高效运转。 3、面向预训练、持续训练、SFT、强化学习等不同阶段，制定适配的数据策略与处理方案，提升数据利用效率与训练效果。 4、针对多模态具身大模型任务特点，解决跨模态对齐、时序一致性、动作标注、数据稀疏性与分布不均衡等问题，持续优化数据质量。 5、联合数据平台、模型与机器人团队，建设自动化数据回放、质检、追溯与评测体系，形成可复用、可迭代的数据基础设施。 6、跟踪多模态数据处理、自动标注与数据质量评估等方向的前沿技术，推动数据体系持续升级。
1、围绕视觉-语言-动作 (VLA) 模型与具身世界模型方向，研发面向机器人感知、理解、预测、决策与动作生成的一体化算法，推动多模态端到端模型在复杂场景中的能力上限。 2、具身大模型全生命周期研发，包括模型架构设计、预训练、后训练、评测与部署，持续优化模型在真实任务中的成功率、鲁棒性与泛化能力。 3、主导或参与视觉/动作编码器、多模态表征学习、离散/连续tokenizer等核心模块研发，提升模型对视觉、动作、时空信息的压缩、建模与生成能力。 4、与数据、Infra等团队，推动数据-训练-测评的协同迭代。 5、跟踪具身智能、多模态大模型、生成式建模等前沿方向，复现并创新相关方法，推动高水平论文、开源项目及专利产出。
1.参与具身智能算法模型在技能学习、动作规划、抓取操作等应用上的研发，实现多场景多任务的泛化； 2.设计、训练、部署模仿学习、强化学习、迁移学习、多模态学习等算法，构建机器人各类应用的通用技能； 3.与大模型、运控等团队合作，推动具身智能数据集、机器人平台等各项目落地实施； 4.紧跟最新技术进展，将学术界前沿创新内容进行快速复现并创新，参与相关方向的论文与专利积累。 【课题名称】 机器人具身智能算法研究 【课题内容】 追踪当下前沿机器人具身智能算法，复现并创新。
1、参与具身智能算法模型在技能学习、动作规划、抓取操作等应用上的研发，实现多场景多任务的泛化； 2、设计、训练、部署模仿学习、强化学习、迁移学习、多模态学习等算法，构建机器人各类应用的通用技能； 3、与大模型、运控等团队合作，推动具身智能数据集、机器人平台等各项目落地实施； 4、紧跟最新技术进展，将学术界前沿创新内容进行快速复现并创新，参与相关方向的论文与专利积累。