京东具身数据平台前端开发工程师
任职要求
1. 具备扎实的前端工程基础,熟练使用 JavaScript / TypeScript,精通至少一种主流前端框架(React 或 Vue),能够独立完成平台型 Web 应用的架构设计与复杂功能开发,有点云 / 3D / WebGL / Three.js 经验优先 2. 有数据平台、AI 工具链或工程类系统的前端开发经验,能够应对多角色、多流程、高交互复杂度的业务场景,具备良好的工程组织与性能优化能力 3. 有…
工作职责
负责具身智能数据平台的前端系统建设,打造面向算法工程师、数据工程师的统一工作台,支撑数据可视化、数据理解、数据操作与多模态数据标注等核心能力 1. 负责数据平台前端整体架构设计与功能实现,支撑复杂数据与任务流程的可视化与交互 2. 实现多模态数据的可视化展示能力,包括图像、视频、点云、轨迹与传感器数据 3. 与后端与算法团队协作,推动半自动标注、智能辅助标注等能力的前端落地 4. 持续优化前端性能、交互体验与工程质量
核心使命:构建下一代具身智能数据交互平台,通过高性能Web 可视化技术,赋能算法研发、数据闭环与仿真验证。 1. 多模态数据可视化引擎开发 - 统计分析可视化:开发数据看板,支持对海量机器人数据(任务日志、状态指标、标注结果)的聚合、筛选、图表展示(时序曲线、热力图、分布图等)。 - 实时回放与交互可视化:构建类播放器的交互界面,支持传感器数据(视频流、点云、IMU)及机器人状态(关节角度/轨迹)的逐帧回放、拖拽跳转、多流同步。 2. 数据工具链前端实现 - 可视化标注平台:开发交互式标注工具(如2D/3D 框体标注、轨迹标注、语义标注),支持视频、点云等多模态数据的联合标注,并与后端标注存储系统集成。 - 数据查询与检索系统:实现灵活的数据查询界面(如按时间范围、任务ID、传感器类型过滤),支持数据样本的实时预览与导出。 - 仿真过程可视化:对接仿真引擎,实时渲染机器人动作、环境状态及任务执行过程,支持调试与结果分析。 3. 实时数据流处理与通信 - 构建低延迟数据通信层:使用WebSocket/WebRTC 实现传感器数据流的实时传输与播放控制。 - 设计时间轴同步机制:确保多传感器数据(视频、激光雷达、关节状态)在回放时严格对齐,支持全局时间戳控制。 4. 跨职能协作 - 与后端工程师紧密合作,定义数据接口格式、通信协议及性能优化点。 - 与算法/数据工程师协作,理解数据语义与业务需求,设计直观的数据交互流程。 - 与仿真团队对接,实现仿真结果的可视化验证。
1. VLA算法开发:参与Vision-Language-Action多模态模型的训练、调优与部署; 2. 数据Pipeline开发:构建高效的机器人数据采集、处理、存储与加载系统; 3. 工具链开发:开发数据标注、可视化、实验管理等配套工具。
1、参与搭建机器人领域专属的大模型数据处理平台,支持从采集、清洗、标注、训练到评估的全流程数据闭环; 2、设计与实现高吞吐、可扩展的时序多模态数据处理引擎,服务图像、视频、语音、动作等多模态数据; 3、与算法团队深度配合,基于大模型能力,提取有价值的数据,提升数据质量,深度参与数据驱动下机器人能力的进化; 4、参与模型评估体系建设,从模型训练到模型评测一站式完成,为模型性能提供可靠的数据支持。
1. 利用云端视觉专业小模型或多模态大模型,对原始视频、图像等数据进行自动预标注,如物体检测、分割、姿态估计、动作标签生成等。 2. 研发算法,解决多源数据的对齐、标准化与融合问题,实现数据本体动作到机器人关节信息的实时动态映射。 3. 设计针对大模型自动标注结果的人机协同质检、清洗与修正流程,确保标注真值的可靠性。并开发自动化数据质量评估体系,持续监控和提升数据集的效用。 4. 构建高效的自动化数据标注等管线以及相应的数据策略,支持TB级多模态数据分析以及性能评估。 5. 联合数据平台团队,构建高效的数据管理、回放、质检等平台流程; 6. 开发面向机器人的遥操作技术和系统,利用VR、动捕服等手段,实现机械臂/人形机器人的动作实时映射与控制。