希音技术专家(大数据平台)
社招全职6年以上信息技术类地点:南京状态:招聘
任职要求
1.至少6年以上大数据开发经验,有扎实的计算机编程基础,精通java,熟悉jvm的原理和调优。 2.熟悉大数据计算/存储/OLAP等技术栈应用,熟悉分布式系统原理,至少3年以上PB级大数据平台相关经验。 3.了解大数据行业趋势,熟悉Kubernetes/Docker,CI/CD流程及自动化运维工具。 4.熟悉数据仓库建模(维度建模、分层设计)、数据指标及口径治理、ETL流程及调度系统(如Airflow、DolphinScheduler)。 5.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。 6.有良好的服务意识、沟通能力和团队协作精神。 7.有AWS/GCP/阿里云等云平台使用经验者优先。 8.有数据湖(Iceberg/Hudi/Paimon)或湖仓一体架构落地经验优先。
工作职责
一、岗位定位: 作为大数据平台技术专家,负责设计、构建和维护企业级大数据平台,支撑海量数据的高效存储、计算、分析与实时处理,赋能业务分析决策与智能化场景。 二、 1.主导大数据平台的架构设计、核心模块开发与性能调优。 2.构建高可用、易用性高、可扩展的数据计算和服务平台,支持离线批处理、实时流处理、交互式查询、支持B端系统等场景。 3.设计并落地数据血缘追踪、元数据管理、数据权限控制等治理方案,优化数据生命周期管理(采集、清洗、存储、计算、归档),提升资源利用率和任务执行效率。 4.跟踪大数据领域技术趋势(如Lakehouse、流批一体、云原生架构),探索AI与大数据结合场景,提升平台自动化水平,推动技术选型与落地。 三、
包括英文材料
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
JVM+
https://www.freecodecamp.org/news/jvm-tutorial-java-virtual-machine-architecture-explained-for-beginners/
https://www.youtube.com/watch?v=e2zmmkc5xI0
OLAP+
https://www.youtube.com/watch?v=iw-5kFzIdgY
OLAP (for online analytical processing) is software for performing multidimensional analysis at high speeds on large volumes of data from a data warehouse, data mart, or some other unified, centralized data store.
分布式系统+
https://www.distributedsystemscourse.com/
The home page of a free online class in distributed systems.
https://www.youtube.com/watch?v=7VbL89mKK3M&list=PLOE1GTZ5ouRPbpTnrZ3Wqjamfwn_Q5Y9A
Kubernetes+
https://kubernetes.io/docs/tutorials/kubernetes-basics/
This tutorial provides a walkthrough of the basics of the Kubernetes cluster orchestration system.
https://kubernetes.io/zh-cn/docs/tutorials/kubernetes-basics/
本教程介绍 Kubernetes 集群编排系统的基础知识。每个模块包含关于 Kubernetes 主要特性和概念的一些背景信息,还包括一个在线教程供你学习。
https://www.youtube.com/watch?v=s_o8dwzRlu4
Hands-On Kubernetes Tutorial | Learn Kubernetes in 1 Hour - Kubernetes Course for Beginners
https://www.youtube.com/watch?v=X48VuDVv0do
Full Kubernetes Tutorial | Kubernetes Course | Hands-on course with a lot of demos
Docker+
https://www.youtube.com/watch?v=GFgJkfScVNU
Master Docker in one course; learn about images and containers on Docker Hub, running multiple containers with Docker Compose, automating workflows with Docker Compose Watch, and much more. 🐳
https://www.youtube.com/watch?v=kTp5xUtcalw
Learn how to use Docker and Kubernetes in this complete hand-on course for beginners.
CI+
https://www.ibm.com/cn-zh/think/topics/continuous-integration
持续集成 (CI) 是一种软件开发实践,开发人员在整个开发周期中会定期将新的代码和代码变更集成到中央代码存储库中。它是 DevOps 和敏捷方法的关键组成部分。
https://www.youtube.com/watch?v=42UP1fxi2SY
CD+
https://www.redhat.com/zh-cn/topics/devops/what-is-ci-cd
CI/CD 是持续集成和持续交付/部署的缩写,旨在简化并加快软件开发生命周期。
https://www.youtube.com/watch?v=R8_veQiYBjI&list=PLy7NrYWoggjzSIlwxeBbcgfAdYoxCIrM2
数据仓库+
https://www.youtube.com/watch?v=9GVqKuTVANE
From Zero to Data Warehouse Hero: A Full SQL Project Walkthrough and Real Industry Experience!
https://www.youtube.com/watch?v=k4tK2ttdSDg
ETL+
https://www.ibm.com/think/topics/etl
ETL—meaning extract, transform, load—is a data integration process that combines, cleans and organizes data from multiple sources into a single, consistent data set for storage in a data warehouse, data lake or other target system.
https://www.youtube.com/watch?v=OW5OgsLpDCQ
It explains what ETL is and what it can do for you to improve your data analysis and productivity.
Airflow+
[英文] Tutorials - Airflow
https://airflow.apache.org/docs/apache-airflow/stable/tutorial/index.html
Once you have Airflow up and running with the Quick Start, these tutorials are a great way to get a sense for how Airflow works.
https://www.youtube.com/watch?v=K9AnJ9_ZAXE
In this 2-hour Airflow Tutorial for Beginners Full Course, we combine theory explanation and practical demos to help you get started quickly as an absolute beginner.
AWS+
https://aws.amazon.com/
Amazon Web Services offers reliable, scalable, and inexpensive cloud computing services. Free to join, pay only for what you use.
相关职位
社招3年以上信息技术类
1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。
更新于 2025-04-16
社招3年以上技术类-开发
1、负责AI平台大数据架构演进以及推进落地:根据不同领域场景大模型落地需求,与算法团队和IT基础设施团队紧密合作,提出大模型训练和优化数据规模、数据类型、数据结构等建议,确保架构有效实施; 2、负责搭建大模型数据平台:支撑大模型数据的存储、预处理(去重、相似度计算、脱敏等)诉求,针对大模型场景、数据类型、数据规模具有高扩展性,以支持大模型数据集持续迭代,实现高质量数据集沉淀,确保数据安全和隐私保护; 3、与算法团队紧密协作,抽象研发诉求,落地为便捷实用的的平台能力,提升整个团队的工作效率和数据处理能力。
更新于 2025-08-14