顺丰大数据开发工程师

任职要求

1. 技术背景与经验：
• 本科及以上学历，计算机、软件工程、GIS 或相关专业。
• 3-5年及以上大数据实际开发经验，具备独立进行中大型大数据系统架构设计与落地能力。
2. 核心技术栈（硬性条件）：
• 精通 Spark 架构及原理，熟练使用 PySpark 或 Scala 进行复杂业务逻辑开发，有丰富的 Spark Streaming / Structured Streaming 调优经验。
• 熟练掌握 Hadoop、Hive、HBase、Flink 等大数据生态组件，具备扎实的 SQL 功底及调…

工作职责

1. 大数据架构与数仓设计：负责时空大数据平台的架构设计与核心模块开发。主导高性能分布式数仓（Data Warehouse）的模型设计、ETL开发及任务调优。
2. 数据流水线开发：使用 Spark / PySpark（或 Scala）进行海量位置数据、轨迹数据及复杂地址数据的清洗、聚合与空间计算，确保数据管线的高可用与高性能。
3. 技术保障与运维：深度参与 Hadoop、Hive、HBase 组成的计算与存储集群的日常开发与调试，负责线上高并发/海量数据场景下的性能瓶颈分析与疑难问题排查。
4. 数据治理与标准落地：精通传统及非大数据环境下的数据治理技术。针对多源、异构的地址与空间数据，进行质量监控、数据标准化及血缘图谱建设。
5. 跨团队协作：与地图产品经理、空间算法科学家深度协同，将前沿的 AI/时空算法模型转化为工业级的大数据工程落地，共同攻坚业务难题。