小鹏汽车自动驾驶大数据后端开发工程师

团队介绍： 小鹏汽车自动驾驶的大数据方向，负责所有自动驾驶数据的云端处理，为自动驾驶业务提供高性能，高质量的数据加工，保证整个数据生产的稳定性，及时性，高可用。 1. 负责自动驾驶大数据多模态（如视频、图像、雷达信号等）湖仓平台的架构设计、开发与建设，包括数据处理、资源调度、算子管理、部署服务等；负责数据采集、清洗、转换和加载（ETL）流程的开发，处理多源异构数据 2. 基于大数据多模态湖仓平台，协助客户处理生产业务中的海量数据，解决疑难问题，支持百亿级自动驾驶感知和全栈数据的快速定位和分析，赋能上层业务发展。 3. 协助设计和优化数据仓库模型，参与数据治理工作（如数据质量核查、元数据管理等） 4. 负责自动驾驶离线和实时数据仓库的构建和性能优化；负责车端信号数据仓库体系和数据指标体系的架构设计与开发，为算法和数据闭环提供框架支持； 5. 调优分布式计算引擎（Spark/Flink/Presto）及存储系统（HDFS/OSS），构建OLAP引擎（Doris/StarRocks），解决海量数据场景下的资源瓶颈。 6. 跟踪Iceberg、Paimon、Flink、Spark、Lance等开源技术演进，主导关键组件二次开发或源码级优化；负责前沿技术的跟踪研究，工具链的选型测试，解决、攻克数据平台的核心技术难题。 7. 建立监控和反馈指标，持续优化改进产品的架构及性能，保证PB级数仓的数据质量和平台稳定性。

-负责自动驾驶数据平台后端开发，熟悉python及flask架构，如期保证功能上线 -参与自动驾驶的问题跟踪与缺陷分析，协同算法工程师进行问题定位与优化 -持续探索自动驾驶测试领域的新技术与方法，解决大规模数据集测试中的技术挑战，推动测试体系的创新与发展

1，负责自动驾驶大规模数据管线的设计与研发，，包括多传感器(视频，图片，雷达信号等）的数据清洗、脱敏脱密、时空对齐、标签抽取、特征融合等模块的设计与开发；保障数据加工产线高效率、低成本运转； 2，开发自动驾驶云平台各功能模块，基于Kubernetes采用微服务架构，全程参与产品开发，提升研发、运营、管理的使用体验；构建大规模任务处理系统，并负责GPU、CPU等多种异构资源的编排调度； 3，持续优化数据质量和效率，提供面向算法的各类数据服务/平台，推动数据驱动模型改善和整体自动驾驶能力的提升。 4，具备较强的业务能力和数据产品思维，能根据实际业务需要，制定端到端解决方案，并落地到业务产生收益，不断优化用户体验

关于数据团队 数据组的是打通自动驾驶数据闭环道路包括数据采集、数据上传、数据平台搭建；数据索引、数据挖掘、数据标注、模型训练等多个方面，打造一个完整的闭环，加快自动驾驶算法的迭代速度。同时，数据组也开发了多个数据分析和处理的工具链，全方位打造企业级的大数据平台 岗位职责 你将与团队一起，在完善数据团队大数据平台的同时，基于AI和大语言模型能力搭建和集成智能的数据挖掘/发现系统，优化自动驾驶数据与算法闭环，加速自动驾驶在全球的大规模落地。