蚂蚁金服蚂蚁集团-性能优化工程师-具身智能方向

1. 性能优化： - 诊断大规模训练任务中的系统瓶颈（GPU 利用率、显存开销、通信延迟、I/O 等）。 - 使用分布式优化技术（如数据并行、模型并行或混合并行），提升资源利用效率。 - 研究并实现显存优化技术（如梯度检查点、ZeRO 优化器、多精度训练等）。 - 构建高效的数据加载/预处理流水线（支持多线程与分布式 I/O）。 2. 系统监控与诊断： - 开发或集成性能分析工具（如 NVIDIA Nsight、PyTorch Profiler），监测 GPU/CPU 使用情况和通信开销。 - 提供性能分析报告，评估系统各模块的优化效果。 - 优化大规模模型的训练效率与显存利用，权衡资源成本与性能。

核心使命：构建下一代具身智能数据交互平台，通过高性能Web 可视化技术，赋能算法研发、数据闭环与仿真验证。 1. 多模态数据可视化引擎开发 - 统计分析可视化：开发数据看板，支持对海量机器人数据（任务日志、状态指标、标注结果）的聚合、筛选、图表展示（时序曲线、热力图、分布图等）。 - 实时回放与交互可视化：构建类播放器的交互界面，支持传感器数据（视频流、点云、IMU）及机器人状态（关节角度/轨迹）的逐帧回放、拖拽跳转、多流同步。 2． 数据工具链前端实现 - 可视化标注平台：开发交互式标注工具（如2D/3D 框体标注、轨迹标注、语义标注），支持视频、点云等多模态数据的联合标注，并与后端标注存储系统集成。 - 数据查询与检索系统：实现灵活的数据查询界面（如按时间范围、任务ID、传感器类型过滤），支持数据样本的实时预览与导出。 - 仿真过程可视化：对接仿真引擎，实时渲染机器人动作、环境状态及任务执行过程，支持调试与结果分析。 3. 实时数据流处理与通信 - 构建低延迟数据通信层：使用WebSocket/WebRTC 实现传感器数据流的实时传输与播放控制。 - 设计时间轴同步机制：确保多传感器数据（视频、激光雷达、关节状态）在回放时严格对齐，支持全局时间戳控制。 4． 跨职能协作 - 与后端工程师紧密合作，定义数据接口格式、通信协议及性能优化点。 - 与算法/数据工程师协作，理解数据语义与业务需求，设计直观的数据交互流程。 - 与仿真团队对接，实现仿真结果的可视化验证。

作为具身智能开放平台团队的核心成员，参与具身智能的核心组件、服务框架和生态平台的研发工作，帮助开发者高效地利用具身大模型能力，实现机器人应用的快速落地，您将参与如下工作： 1.平台核心架构研发： 参与具身智能开放平台 后端服务 的设计、开发和维护，包括高并发、低延迟的 API 网关、任务调度系统和云边协同架构。 2.AI与具身集成： 设计和实现 大模型（LLM/VLM）与机器人控制系统 之间的通信接口和数据转换服务，确保高级语义指令（如自然语言）能稳定、高效地转化为机器人可执行的动作序列。 3.开发者生态工具： 负责开发和优化平台 SDK、API 接口和后台管理系统，为全球机器人开发者提供友好、强大的工具和服务。 4.数据与存储服务： 构建和维护机器人感知数据、行为数据和模型训练数据的存储、索引及检索服务，确保数据的高可靠性和高吞吐量。 5.性能优化与稳定性： 负责解决系统瓶颈，进行代码重构和性能调优，确保平台在数千台甚至数万台机器人并发连接下的高可用性和稳定性。

1. 路径规划 ‒ 开发适用于多种场景（如机器人导航、自动驾驶、无人机等）的路径规划算法； ‒ 实现经典和前沿的全局及局部路径规划方法（如 A*、Dijkstra、RRT、DWA 等），优化路径规划的效率和鲁棒性； ‒ 处理动态环境中的路径生成和调整，解决复杂场景下的避障问题。 2. 行动决策 ‒ 研究并实现具身智能体的行动决策算法，设计任务分解和行为选择的逻辑； ‒ 基于行为树（Behavior Tree）、有限状态机（FSM）等方法，构建模块化的决策框架； ‒ 开发多智能体协作与竞争的行动决策模型，支持复杂交互任务的执行。 3. 强化学习（Reinforcement Learning，RL） ‒ 针对具身智能场景（如机械臂控制、机器人动态避障、导航等），设计强化学习的 reward 函数和训练策略； ‒ 实现主流深度强化学习算法（如 DQN、DDPG、PPO、SAC 等），解决高维连续控制与探索问题； ‒ 优化强化学习模型的收敛速度和鲁棒性，提升算法在实际场景中的表现。 4. 模仿学习（Imitation Learning，IL） ‒ 通过专家示范数据（如轨迹、动作序列）训练智能体，实现模仿人类/智能体行为； ‒ 应用行为克隆（Behavior Cloning, BC）、逆强化学习（Inverse Reinforcement Learning, IRL）等技术解决稀疏奖励问题； ‒ 结合模仿学习与强化学习，提升智能体在复杂任务中的学习和泛化能力。 5. 算法优化与工程实现 ‒ 优化算法的计算效率和资源占用，适配实时性要求 ；‒ 在仿真环境（如 Gazebo、PyBullet、Mujoco 等）和真实设备中验证算法性能； ‒ 配合嵌入式团队完成算法在终端设备上的部署与优化。 6. 技术研究与创新 ‒ 跟踪具身智能领域的前沿算法进展，探索新技术的实际应用； ‒ 研究多模态感知与决策（如视觉、语音、触觉）的融合方法，提升智能体的环境理解与行动能力； ‒ 参与长期自主学习、在线学习和自适应学习系统的设计与开发。