小鹏汽车大数据后端开发工程师 - 平台方向

任职要求

1. 本科及以上学历，计算机类相关专业，有不错的后端开发经验；
2. 优秀的编程和调试能力，精通至少一种主流编程语言， 如Java，Python，Go；
3. 熟悉大数据生态环境，掌握Hadoop，Hive，Kafka，Spark，Flink，Redis，ElasticSearch等大数据技术栈；
4. 对实时框驾有深入了解，在生产环境有TB级别Flink实时计算系统开发经验，深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块，有Flink源码阅读经验优先；
5. 熟练使用MySQL/PostgreSQL/Redis/Kafka/Elasticsearch等常用存储技术，并熟悉其使用方式和实现原理；
6. 熟练使用doris/clickhouse/druid/presto/hbase等OLAP工具，并且掌握其原理；
7. 熟悉Paimon/Iceberg等数据湖技术的实时湖仓构建，ACID事务支持、增量更新和Time Travel查询，了解小文件合并和Schema演化等问题的解决
8. 有快速学习能力，能快速理解业务背景，善于沟通，主动性强，有责任心，具备优秀的技术与业务结合能力。

加分项：
9. 有数据质量、元数据管理等相关数据组件的实际经验
10. 熟悉基于StarRocks/Doris开发高性能OLAP查询，设计物化视图和分区分桶策略提升查询效率
11. 熟悉数据仓库各类模型建模理论，了解数据仓库数据分层架构、维度模型设计
12. 有基于Docker、Kubernetes、微服务的应用开发设计经验优先；
13. 有自动驾驶或大型互联网公司相关从业经验优先

工作职责

团队介绍：
小鹏汽车自动驾驶的大数据方向，负责所有自动驾驶数据的云端处理，为自动驾驶业务提供高性能，高质量的数据加工，保证整个数据生产的稳定性，及时性，高可用。


1. 负责自动驾驶大数据多模态（如视频、图像、雷达信号等）湖仓平台的架构设计、开发与建设，包括数据处理、资源调度、算子管理、部署服务等；负责数据采集、清洗、转换和加载（ETL）流程的开发，处理多源异构数据
2. 基于大数据多模态湖仓平台，协助客户处理生产业务中的海量数据，解决疑难问题，支持百亿级自动驾驶感知和全栈数据的快速定位和分析，赋能上层业务发展。
3. 协助设计和优化数据仓库模型，参与数据治理工作（如数据质量核查、元数据管理等）
4. 负责自动驾驶离线和实时数据仓库的构建和性能优化；负责车端信号数据仓库体系和数据指标体系的架构设计与开发，为算法和数据闭环提供框架支持；
5. 调优分布式计算引擎（Spark/Flink/Presto）及存储系统（HDFS/OSS），构建OLAP引擎（Doris/StarRocks），解决海量数据场景下的资源瓶颈。
6. 跟踪Iceberg、Paimon、Flink、Spark、Lance等开源技术演进，主导关键组件二次开发或源码级优化；负责前沿技术的跟踪研究，工具链的选型测试，解决、攻克数据平台的核心技术难题。
7. 建立监控和反馈指标，持续优化改进产品的架构及性能，保证PB级数仓的数据质量和平台稳定性。