小鹏汽车具身控制与机器学习算法工程师
任职要求
- 自动化、计算机相关专业本科及以上学历,在运动控制、机器人操作等领域具有相关背景; - 熟悉Linux下C++或Python开发,具备良好的代码实现能力; - 谦逊开放、思维活跃,具有持续学习能力和团队合作意识。 …
工作职责
【关于我们】 小鹏机器人中心致力于研发先进的人形机器人技术,包括机器人的行走、操作、智能导航,以及在大语言模型支持下的人机交互等。我们的软硬件团队覆盖深圳、上海、广州、北京和北美,组成了一支世界一流的跨领域团队。作为本团队的一员,你将成为连接人工智能与物理世界的桥梁,与其他领域的工程师共同解决前沿的科研和工程难题,并在机器人技术的发展中留下自己的印记。 - 开发和改进机器人遥操作数据重映射,位置跟踪算法; - 应用先进的运动控制算法,机器学习算法对机器人进行全身遥操作的开发; - 和上下游团队进行深入合作和共同探; - 深⼊探索未知⼯程和技术领域,影响并参与决策。
1. 负责具身智能系统的伺服控制算法设计与开发,包括位置、速度、力矩控制等; 2. 结合动力学建模与传感器反馈,优化高精度、低延迟的实时控制算法; 3. 研究并实现自适应控制、鲁棒控制、模型预测控制(MPC)等先进算法,提升系统动态响应与抗干扰能力; 4. 与硬件团队协作,完成控制算法在嵌入式平台(如DSP、FPGA、ROS等)的部署与性能调优; 5. 设计仿真与实验验证方案,分析系统性能并持续优化算法; 6. 跟踪前沿技术(如强化学习、仿生控制、多模态感知融合等),探索其在伺服控制中的应用。
1. 路径规划 ‒ 开发适用于多种场景(如机器人导航、自动驾驶、无人机等)的路径规划算法; ‒ 实现经典和前沿的全局及局部路径规划方法(如 A*、Dijkstra、RRT、DWA 等),优化路径规划的效率和鲁棒性; ‒ 处理动态环境中的路径生成和调整,解决复杂场景下的避障问题。 2. 行动决策 ‒ 研究并实现具身智能体的行动决策算法,设计任务分解和行为选择的逻辑; ‒ 基于行为树(Behavior Tree)、有限状态机(FSM)等方法,构建模块化的决策框架; ‒ 开发多智能体协作与竞争的行动决策模型,支持复杂交互任务的执行。 3. 强化学习(Reinforcement Learning,RL) ‒ 针对具身智能场景(如机械臂控制、机器人动态避障、导航等),设计强化学习的 reward 函数和训练策略; ‒ 实现主流深度强化学习算法(如 DQN、DDPG、PPO、SAC 等),解决高维连续控制与探索问题; ‒ 优化强化学习模型的收敛速度和鲁棒性,提升算法在实际场景中的表现。 4. 模仿学习(Imitation Learning,IL) ‒ 通过专家示范数据(如轨迹、动作序列)训练智能体,实现模仿人类/智能体行为; ‒ 应用行为克隆(Behavior Cloning, BC)、逆强化学习(Inverse Reinforcement Learning, IRL)等技术解决稀疏奖励问题; ‒ 结合模仿学习与强化学习,提升智能体在复杂任务中的学习和泛化能力。 5. 算法优化与工程实现 ‒ 优化算法的计算效率和资源占用,适配实时性要求 ;‒ 在仿真环境(如 Gazebo、PyBullet、Mujoco 等)和真实设备中验证算法性能; ‒ 配合嵌入式团队完成算法在终端设备上的部署与优化。 6. 技术研究与创新 ‒ 跟踪具身智能领域的前沿算法进展,探索新技术的实际应用; ‒ 研究多模态感知与决策(如视觉、语音、触觉)的融合方法,提升智能体的环境理解与行动能力; ‒ 参与长期自主学习、在线学习和自适应学习系统的设计与开发。
1、负责机器人多模态大模型(VLA模型)的工程化落地,包括预训练开发、模型微调、训练优化以及实际效果调优; 2、参与基于大模型的机器决策控制工程化工作,包括训练框架搭建、数据集处理、算力部署,以及在真机上的部署与测试; 3、优化大模型的训练效率以及资源利用率,熟练运用诸如模型并行、Flash Attention、LoRA等技术; 4、负责云端数据处理以及分布式训练落地,优化大模型的多模态任务处理能力; 5、跟进多模态大模型与具身智能的前沿应用进展,负责模型在机器人场景的部署与技术转化。
1. 遥操作系统开发: ‒ 设计并实现机器人遥操作系统的核心功能,包括实时控制、低延迟通信和人机交互模块; ‒ 开发和优化远程控制算法,确保系统的响应速度和精确性。 2. 通讯与数据传输: ‒ 实现高效的远程通信协议(如TCP/IP、UDP、WebRTC),优化数据传输的低延迟和高可靠性; ‒ 处理远程视频流传输、传感器数据融合以及控制信号反馈。 3. 系统集成: ‒ 集成机器人硬件(如机械臂、移动平台、无人机)与遥操作软件模块; ‒ 实现机器人与远程操作终端之间的无缝交互。 4. 人机交互开发: ‒ 开发直观的遥操作界面(GUI)或VR/AR交互系统,提升用户的操作体验; ‒ 设计力反馈、触觉反馈等增强操控感知的功能。 5. 仿真与测试: ‒ 基于仿真工具(如Gazebo、V-REP、Unity)设计并测试遥操作系统; ‒ 在实际场景中测试系统性能,确保其稳定性和可靠性。 6. 系统优化与迭代: ‒ 分析遥操作过程中出现的问题,优化系统性能; ‒ 实现智能化辅助功能(如路径规划、碰撞检测、自动校准等)。 7. 技术文档撰写: ‒ 编写清晰的技术文档,包括设计方案、开发流程和操作手册; ‒ 为团队成员提供技术支持与培训。