平安科技大数据平台开发工程师
社招全职3年以上计算机网络技术类地点：深圳状态：招聘
任职要求
1. 计算机或相关专业，3年以上大数据相关开发经验； 2. 熟悉linux/UNIX shell、熟悉(python/shell)任意一种脚本语言、熟悉Java/Scala/C++任意一种开发语言； 3. 熟悉大数据基础平台技术的原理和内部机制，包括但不限于Hadoop、ClickHouse、Hbase、Doris等； 4. 有大规模集群调优及容器化经验优先。 5.对新技术充满热情，具有良好的学习能力、团队协作能力和沟通能力； 6.逻辑思维能力及快速持续的学习能力。
工作职责
1. 负责或参与大数据平台的架构设计以及基础组件的调优、改造、升级； 2. 结合客户需求，负责和参与大数据产品的设计与研发； 3. 负责数据平台新技术的研究及应用落地。
包括英文材料
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Linux+
https://ryanstutorials.net/linuxtutorial/
Ok, so you want to learn how to use the Bash command line interface (terminal) on Unix/Linux.
https://ubuntu.com/tutorials/command-line-for-beginners
The Linux command line is a text interface to your computer.
https://www.youtube.com/watch?v=6WatcfENsOU
In this Linux crash course, you will learn the fundamental skills and tools you need to become a proficient Linux system administrator.
https://www.youtube.com/watch?v=v392lEyM29A
Never fear the command line again, make it fear you.
https://www.youtube.com/watch?v=ZtqBQ68cfJc
Unix+
[英文] The UNIX® Standard
https://www.opengroup.org/membership/forums/platform/unix
https://www.youtube.com/watch?v=IrDUcdpPmdI
UNIX is an operating system which was first developed in the 1970s, and has been under constant development ever since.
Bash+
[英文] The Bash Guide
https://guide.bash.academy/
A quality-driven guide through the shell's many features.
https://www.youtube.com/watch?v=tK9Oc6AEnR4
Understanding how to use bash scripting will enhance your productivity by automating tasks, streamlining processes, and making your workflow more efficient.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
脚本+
[英文] Scripting language
https://en.wikipedia.org/wiki/Scripting_language
https://zhuanlan.zhihu.com/p/571097954
一个脚本通常是解释执行而非编译。脚本语言通常都有简单、易学、易用的特性，目的就是希望能让程序员快速完成程序的编写工作。
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Scala+
C+++
https://www.learncpp.com/
LearnCpp.com is a free website devoted to teaching you how to program in modern C++.
https://www.youtube.com/watch?v=ZzaPdXTrSb8
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
HBase+
[英文] HBase Tutorial
https://www.tutorialspoint.com/hbase/index.htm
HBase is a data model that is similar to Google's big table designed to provide quick random access to huge amounts of structured data. This tutorial provides an introduction to HBase, the procedures to set up HBase on Hadoop File Systems, and ways to interact with HBase shell.
Doris+
https://doris.apache.org/docs/gettingStarted/what-is-apache-doris
相关职位
社招
岗位职责： 1. 平台全生命周期管理：负责大数据平台的架构设计、核心模块研发与全链路维护。通过系统化监控、故障预警与应急响应机制，保障系统稳定运行。 2. 资源效能优化：深度分析平台资源使用状况，通过性能调优、成本控制与资源动态调度策略，实现集群资源利用率提升。同时推动数据治理体系建设，保障数据质量、安全性及合规性。 工作内容： 1. 平台迭代与稳定性保障：负责数据平台核心模块（如分布式调度系统、元数据资产管理、异构数据集成平台等）的持续迭代 2. AI 技术深度融合：参与算法平台与 AI 基础服务的研发，构建智能化数据处理流水线，提升业务研发效率。 3. 智能化数据治理：利用 NLP、大模型 等 AI 技术实现数据治理自动化，降低人工成本，提升数据价值。
更新于 2025-05-14
社招3年以上
1、负责大数据平台开发工作，主要hadoop集群相关，能够解决业务的需求开发。 2、负责大数据平台的日常运维管理，保障数据平台的稳定性。 3、解决大数据平台的故障及性能问题，提升数据存储和计算效率。
更新于 2025-04-10
社招3年以上TEG公共技术
1.负责大数据开发平台的设计实现，为公司各业务提供高效稳定的数据研发平台能力； 2.参与到需求评审、技术方案设计、编码实现、代码CR、功能测试等研发全流程工作； 3.与产品经理、测试运维等相关团队紧密协作，推动平台能力的高效快速落地； 4.持续优化系统架构，沉淀平台级公共服务组件，促进平台研发迭代效率，进一步提升系统性能和稳定性。
更新于 2025-08-28
社招5年以上国际业务开发
1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化，确保集群的高效与稳定运行，提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发，满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等
更新于 2025-03-18