小鹏汽车大数据后端开发工程师 - 平台方向

任职要求

1. 本科及以上学历，计算机类相关专业，有不错的后端开发经验；
2. 优秀的编程和调试能力，精通至少一种主流编程语言， 如Java，Python，Go；
3. 熟悉大数据生态环境，掌握Hadoop，Hive，Kafka，Spark，Flink，Redis，ElasticSearch等大数据技术栈；
4. 对实时框驾有深入了解，在生产环境有TB级别Flink实时计算系统开发经验，深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块，有Flink源码阅读经验优先；
5. 熟练使用MySQL/PostgreSQL/Redis/Kafka/Elasticsearch等常用存储技术，并熟悉其使用方式和实现原理；
6. 熟练使用doris/clickhouse/…

工作职责

团队介绍：
小鹏汽车自动驾驶的大数据方向，负责所有自动驾驶数据的云端处理，为自动驾驶业务提供高性能，高质量的数据加工，保证整个数据生产的稳定性，及时性，高可用。


1. 负责自动驾驶大数据多模态（如视频、图像、雷达信号等）湖仓平台的架构设计、开发与建设，包括数据处理、资源调度、算子管理、部署服务等；负责数据采集、清洗、转换和加载（ETL）流程的开发，处理多源异构数据
2. 基于大数据多模态湖仓平台，协助客户处理生产业务中的海量数据，解决疑难问题，支持百亿级自动驾驶感知和全栈数据的快速定位和分析，赋能上层业务发展。
3. 协助设计和优化数据仓库模型，参与数据治理工作（如数据质量核查、元数据管理等）
4. 负责自动驾驶离线和实时数据仓库的构建和性能优化；负责车端信号数据仓库体系和数据指标体系的架构设计与开发，为算法和数据闭环提供框架支持；
5. 调优分布式计算引擎（Spark/Flink/Presto）及存储系统（HDFS/OSS），构建OLAP引擎（Doris/StarRocks），解决海量数据场景下的资源瓶颈。
6. 跟踪Iceberg、Paimon、Flink、Spark、Lance等开源技术演进，主导关键组件二次开发或源码级优化；负责前沿技术的跟踪研究，工具链的选型测试，解决、攻克数据平台的核心技术难题。
7. 建立监控和反馈指标，持续优化改进产品的架构及性能，保证PB级数仓的数据质量和平台稳定性。