顺丰大数据平台研发工程师
社招全职3-5年地点:深圳状态:招聘
任职要求
1. 基本要求 - 本科及以上学历,计算机相关专业,3年及以上大数据平台研发相关工作经验。 - 具备扎实的Java开发语言基础,熟悉分布式系统设计原理和大数据处理流程。 - 具备良好的编码习惯和文档编写能力,拥有较强的问题分析与解决能力。 - 具备优秀的团队协作精神、沟通能力和抗压能力,能积极应对项目中的各类挑战。 2. 核心技术要求 - 熟练掌握大数据平台产品层开发技术,有过大数据平台核心模块(如数据集成、离线数据开发、实数数据开发、数据服务等)的开发经验。 - 熟悉底层大数据组件,包括但不限于HIVE(数据仓库构建、SQL优化)、SPAR…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
参与大数据平台产品层核心功能的设计、开发与迭代优化,保障平台的稳定性、高效性和易用性。 深入理解底层大数据组件的工作原理,负责平台与HIVE、SPARK、Flink、ES等组件的集成、调优与问题排查。 协同产品、测试及业务团队,梳理业务需求并转化为技术实现,推动大数据平台在业务场景中的落地应用。 关注大数据与AI领域前沿技术动态,将合适的技术引入平台研发,持续提升平台的技术竞争力。
包括英文材料
学历+
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
分布式系统+
https://www.distributedsystemscourse.com/
The home page of a free online class in distributed systems.
https://www.youtube.com/watch?v=7VbL89mKK3M&list=PLOE1GTZ5ouRPbpTnrZ3Wqjamfwn_Q5Y9A
编程规范+
[英文] Google Style Guides
https://google.github.io/styleguide/
Every major open-source project has its own style guide: a set of conventions (sometimes arbitrary) about how to write code for that project. It is much easier to understand a large codebase when all the code in it is in a consistent style.
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
数据仓库+
https://www.youtube.com/watch?v=9GVqKuTVANE
From Zero to Data Warehouse Hero: A Full SQL Project Walkthrough and Real Industry Experience!
https://www.youtube.com/watch?v=k4tK2ttdSDg
SQL+
https://liaoxuefeng.com/books/sql/introduction/index.html
什么是SQL?简单地说,SQL就是访问和处理关系数据库的计算机标准语言。
https://sqlbolt.com/
Learn SQL with simple, interactive exercises.
https://www.youtube.com/watch?v=p3qvj9hO_Bo
In this video we will cover everything you need to know about SQL in only 60 minutes.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
还有更多 •••
相关职位
社招1年以上ACG
-研发大规模分布式计算系统,包括高吞吐的批量计算、高时效的流式计算、高效能的OLAP等 -为全百度提供高性能、高可用、低成本的大数据计算服务 -探索新架构、新技术、新硬件,设计面向大模型的数据处理引擎和服务 -深入理解业务系统,理解项目客户需求,设计和实现符合用户需求的大数据平台系统,确保项目顺利验收
更新于 2025-06-09北京
社招3年以上ACG
-负责大数据管理开发平台的研究、设计和开发,包括数据采集、存储、开发、处理、作业调度等工作 -负责大数据管理开发平台的设计和优化,提高产品的实用性和用户体验 -持续优化平台的稳定性和性能,维护系统的稳定运行 -深入理解业务系统,理解项目客户需求,设计和实现符合用户需求的大数据平台系统,确保项目顺利验收
更新于 2025-06-09北京
社招A118197
团队介绍:BABI平台是通过内部商业化/市场化的方式,以商品化为主要核心手段,围绕IT基础设施和人力成本提供一站式的平台支持,服务公司看清楚各业务部门从预算到成本到收入的经营过程,结合数据化、智能化的方式帮助业务线做好成本经营。 1、参与字节跳动技术团队及火山引擎业务等经营分析系统的大数据研发工作,包括但不限于BI可视化、OLAP分析、数据流调度、数据智能化服务等核心模块; 2、参与FinOps数据治理工作,持续提升数据易用性及数据质量,为经营分析提效赋能; 3、深入了解业务和系统痛点,给出优质的解决方案,并持续提升系统稳定性、可靠性、可扩展性,解决技术难题。
更新于 2024-12-03北京