希音大数据平台开发工程师
社招全职3年以上信息技术类地点:南京状态:招聘
任职要求
1、3年及以上大数据平台开发经验,学历本科及以上,计算机相关专业优先; 2、至少精通java/scala其中一种开发语言,熟悉主流后端开发框架; 3、熟悉大数据平台常用框架(hadoop/hive/spark/hbase…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、大数据基础平台、应用平台功能设计和开发; 2、负责大数据平台及组件的调研选型,部署,日常监控及问题解决; 3、参与海量数据处理方案设计,提供业务系统技术支撑。
包括英文材料
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
学历+
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Scala+
后端开发+
https://www.youtube.com/watch?v=tN6oJu2DqCM&list=PLWKjhJtqVAbn21gs5UnLhCQ82f923WCgM
Learn what technologies you should learn first to become a back end web developer.
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集,并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
HBase+
[英文] HBase Tutorial
https://www.tutorialspoint.com/hbase/index.htm
HBase is a data model that is similar to Google's big table designed to provide quick random access to huge amounts of structured data. This tutorial provides an introduction to HBase, the procedures to set up HBase on Hadoop File Systems, and ways to interact with HBase shell.
还有更多 •••
相关职位
社招5年以上国际业务开发
1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化,确保集群的高效与稳定运行,提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发,满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等
更新于 2025-03-18上海
社招4年以上软硬件服务-Sa
1、参与餐饮SaaS数据平台的整体架构建设工作,包括但不限于在线多维分析引擎、数据存储引擎、实时计算引擎、平台数据治理、数据服务、数据质量、数据产品等能力设计与研发等; 2、研究美团餐饮SaaS业务的数据特点,探索带来成本大幅优化的计算、存储方案,构建下一代智能报表系统的底层基础能力与产品通用解决方案; 3、理解数据湖、大数据分析引擎或数据库引擎工作原理,熟悉Parquet、ORC、Arrow等列存储技术方案,理解Doris、ClickHouse、Hive、Presto等至少一种分析引擎的工作原理,熟悉实时计算系统Flink、Storm、Spark至少一种计算框架的工作原理; 4、精通OLAP SQL优化与业务逻辑编排,对BI分析引擎有理解者优先
更新于 2025-04-17北京
社招1年以上后端开发
小红书基础设施网络平台致力于实现网络监管控的平台化,自动化,智能化。建设多场景、高可用、高性能可观测系统。覆盖设备基础监控,流量分析,云网络,拨测,内网质量等多种场景。
北京|上海|杭州