荣耀数据系统工程师
任职要求
1.本科及以上学历,计算机/自动化/数学等相关专业,3年以上数据系统开发经验,机器人领域优先; 2.精通 Python/C++ ,熟悉 ROS/ROS2 框架,掌握 Hadoop/Spark 大数据处理技术; 3.熟练使用 SQL/NoSQL 数据库,具备数据可视化(Grafana/Tableau)与分布式…
工作职责
1、负责遥操/VR/动捕的高效数据生成和增强,并在机器人操作算法(VLA/模仿学习/强化学习)上验证有效性; 2、利用视频/图像数据扩展操作数据,提升操作泛化性; 3、力/触觉和灵巧手数据采集和生成,力/触/IMU数据的分析和验证; 4、开发机器人数据生成和增强平台,支持足式机器人 地形适应 、机械臂抓取力反馈等需求,生成涵盖运动控制、环境交互的高保真仿真数据集; 5、负责Real2Sim2Real算法和数据生成管线构建,实现移动和操作的高效数据生成; 6、负责开发多模态视频理解数据、人类行为理解数据生成和处理平台,构建高质量多模态数据,完成多模态模型训练和部署。

1. 数据采集系统牵头设计与实施 (核心): - 牵头自动驾驶数据采集系统的整体架构设计、技术选型与方案制定,涵盖传感器(摄像头、激光雷达、毫米波雷达、GNSS/IMU、CAN总线等)数据同步、采集、压缩、加密、上传等全链路。 - 制定并维护数据采集规范与策略,包括触发条件(场景触发、问题触发、定时触发)、采集频率、数据格式、存储周期、优先级等。 - 牵头解决数据采集过程中的技术难题和性能瓶颈(如带宽限制、存储空间、同步精度、丢帧问题)。 2. 数据管理体系构建与运维 (核心): - 牵头设计、搭建和维护大规模、多模态自动驾驶数据存储与管理平台(如基于对象存储、分布式文件系统、数据库等)。 - 建立并主导执行数据的全生命周期管理策略,包括数据接入、清洗、标注(与标注团队协作)、存储、版本控制、归档、销毁等流程。 3. 跨团队协作与需求对接: - 作为数据平台的核心接口人,主动对接感知、规划控制、仿真、测试、地图等下游团队的数据需求,理解其业务场景(如特定Corner Case收集、模型训练数据需求、问题复现数据需求),并将其转化为数据采集和管理方案。 4. 工具链开发与流程规范: - 主导或参与开发内部数据管理工具和平台功能,提升数据操作效率(如数据检索、样本提取、质量检查工具)。 - 建立、维护和推广数据采集、存储、治理、使用的流程规范、操作手册和标准。
1. 参与分布式训练加速框架开发,优化数据流水线与资源调度策略; 2. 构建数据中台,设计高效的数据存储、清洗与可视化方案; 3. 维护数据库系统,优化查询性能与容灾备份机制。
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline; 2、研发支持多机多卡 RL 的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链,主导框架与 MLOps 平台集成,提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作,参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代; 5、参与分析各业务 GPU 利用率与饱和度等指标,结合业务场景持续优化训练框架能力,提升框架领先性。
