美团自动驾驶数据开发工程师
任职要求
1、具备良好的工程开发能力。熟练使用一门编程语言包括不限于C++、Python等。 2、具备良好的系统设计能力。能够理解、拆解、梳理需求并根据需求设计系统解决方案，合理考虑长短期需求，进行模块拆分和技术选型，能够完成系统的实现。对自己负责的项目的提出动机和技术细节清晰。 具备以下条件优先 具备自动驾驶评测、数据相关经验，了解整体流程。
工作职责
负责提升自动驾驶算法评测能力，结合算法的设计和迭代流程，建设高效准确的评测分析系统和工具，并输出评价指标或报告，帮助实现高效有效的算法数据闭环。具体职责包括设计实现评估指标、建设完善基于采集+生成的评测集构建，自动化的评估闭环系统等。
1、负责自动驾驶数据闭环相关的平台研发工作，制定数据挖掘方案，计划并实施，保证数据质量和闭环效果，为线上模型迭代提供数据支持； 2、负责数据闭环的标定平台、模型部署平台研发工作，通过数据及算法挖掘传感器标定异常，提前发现问题以及风险前置； 3、基于海量自动驾驶场景和行为，科学地管理自动驾驶用户数据和已挖掘的算法问题，研究和设计自动驾驶各算法高效发现问题和利用数据的方案。与算法研发工程师合作，通过数据驱动的方式挖掘自动驾驶算法需要关注的关键场景和高价值数据，参与算法迭代； 4、负责自动驾驶数据闭环相关的策略研发工作，制定项目挖掘方案，计划并实施，保证数据质量和闭环效果。设计和开发挖掘策略/算法/工具，为感知算法任务提供研发迭代需要的数据，支持数据转化为驾驶能力； 5、综合车端的感知、规控、地图、车辆状态等信息，利用大数据技术（如 Flink、Spark）对各种异常 case 进行识别和自动化归因算法开发； 6.负责推进自动驾驶用户数据闭环平台构建、优化，确保闭环科学地、稳定地、高效地运转。基于数据湖技术（如 Hadoop、HDFS、Delta Lake 等）构建高效的数据存储、处理和分析平台。
-负责优化设计自动驾驶数据流水线，构建高可用、易扩展、低延迟的服务架构 -负责自动驾驶模型迭代相关的数据仓库、数据处理等方向的技术规划与开发工作 -负责设计开发用户端SDK、API支持自动驾驶数据高效、稳定、高并发低时延地读写 -负责设计及实现合理的数据生命周期管理策略，保证满足业务数据需求和存储成本控制需求
1. 自动驾驶数据建模 - 设计多源异构数据的数仓分层模型（ODS/DWD/DWS/ADS），支撑感知、预测等算法训练； - 设计支持相似性检索的数仓分层（ADS层集成VectorDB特性）； - 构建数据血缘与元数据管理体系，保障数据可追溯性； - 构建多模态数据的统一向量化标准（图像/点云/文本的Embedding规范）。 2. 大规模数据处理开发 - 开发高可靠ETL流程，处理车载传感器原始数据（摄像头/LiDAR/GPS等）； - 基于Spark/Flink优化数据清洗、转换、聚合任务，提升云端处理效能； - 开发多模态Embedding流水线（CV/NLP模型的分布式特征提取）； - 基于VLM（视觉语言模型）自动生成数据标签（替代人工标注）； - 构建驾驶场景语义索引系统（支持“极端天气”“危险变道”等语义检索）。 3. 分析平台建设 - 搭建数据湖仓一体架构（Paimon/Iceberg + Doris/StarRocks）； - 搭建海量特征向量数据库（Milvus/Pinecone/自研引擎）； - 开发BI可视化看板，监控数据质量及自动驾驶关键指标（生产折损率，感知准确率、干预率等）； - 开发多模态检索接口（如根据文本描述搜索关联驾驶场景视频）。 4. 效率优化 - 持续优化数据存储成本与计算性能（分区策略/压缩算法/计算资源调度）； - 探索弹性伸缩，流批一体，存算分离等架构在实时数据处理场景的应用。
-设计并构建高效的自动驾驶数据仓库架构，包括数据模型设计、ETL过程开发、数据服务构建等 -设计实现高效的数据存储引擎，确保PB级大规模数据的高效存储，快速加载，并确保数据的准确性和一致性 -负责输出不同业务模型训练、评测数据高效存取方案，有效支持自动驾驶模型训练 -与数据科学家和数据分析师合作，根据业务需求进行数据仓库的扩展和定制 -负责推动各类自动驾驶业务流接入数据仓库，帮助业务提升效率