京东数据闭环开发工程师
任职要求
1.计算机视觉、模式识别、机器学习、电子信息、机器人等相关专业的本科/硕士，需要有自动驾驶1年以上从业经验 2.了解数据结构、算法、代码优化和大规模数据处理等相关知识; 精通 C/C++ 或 Python 编程，有自动驾驶数据闭环相关工作经验的优先，熟悉DDS中间件，或ROS、Someip、zmq等中间件（车端数据挖掘方向） 3.了解智驾技术体系、软…
工作职责
1.负责推进和参与自动驾驶用户数据闭环平台的构建和迭代优化，包括数据落盘回收、数据服务、数据工具等各环节的设计开发和上线落地 2.负责自动驾驶数据闭环相关的策略研发工作，制定数据挖掘方案，计划并实施，保证数据质量和闭环效果，为线上模型迭代提供数据支持。 3.探索车端数据挖掘/主动学习算法设计开发，提取高价值自动驾驶数据，解决长尾问题,包括但不局限于（rule base、SVM learning等） 4.基于海量自动驾驶场景和行为，科学地管理自动驾驶用户数据和已挖掘的算法问题， 研究和设计自动驾驶各算法高效发现问题和利用数据的方案；与算法研发工程师合作，通过数据驱动的方式挖掘自动驾驶算法需要关注的关键场景和高价值数据，参与算法迭代 5.综合车端的感知、规控、地图、车辆状态等信息，对各种异常case进行识别并做自动化归因策略开发;
1、负责自动驾驶数据闭环相关的平台研发工作，制定数据挖掘方案，计划并实施，保证数据质量和闭环效果，为线上模型迭代提供数据支持； 2、负责数据闭环的标定平台、模型部署平台研发工作，通过数据及算法挖掘传感器标定异常，提前发现问题以及风险前置； 3、基于海量自动驾驶场景和行为，科学地管理自动驾驶用户数据和已挖掘的算法问题，研究和设计自动驾驶各算法高效发现问题和利用数据的方案。与算法研发工程师合作，通过数据驱动的方式挖掘自动驾驶算法需要关注的关键场景和高价值数据，参与算法迭代； 4、负责自动驾驶数据闭环相关的策略研发工作，制定项目挖掘方案，计划并实施，保证数据质量和闭环效果。设计和开发挖掘策略/算法/工具，为感知算法任务提供研发迭代需要的数据，支持数据转化为驾驶能力； 5、综合车端的感知、规控、地图、车辆状态等信息，利用大数据技术（如 Flink、Spark）对各种异常 case 进行识别和自动化归因算法开发； 6.负责推进自动驾驶用户数据闭环平台构建、优化，确保闭环科学地、稳定地、高效地运转。基于数据湖技术（如 Hadoop、HDFS、Delta Lake 等）构建高效的数据存储、处理和分析平台。
1、负责自动驾驶大数据平台系统中的数据仓库建设，含数据处理，数据存储，数据工具等的开发和优化； 2、负责场景化数据挖掘、数据评估、模型训练系统的设计和开发； 3、负责车辆车端数据采集、数据回传相关软件开发工作； 4、负责数据体系相关数据的抽取、清洗、转换、服务、接口对接等工作； 5、负责所开发软件的性能优化相关工作以及相关开发文档的撰写。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。