百度大数据平台研发工程师(J85756)
社招全职1年以上ACG地点:北京状态:停招
任职要求
-本科及以上学历,计算机专业优先 -熟悉Hadoop/Spark/Flink/Hive/Doris等任一项主流开源技术,具备类似技术的引擎研发经验 -有1年以上大规模系统软件的研发经验,如操作系统、存储系统、数据库系统、计算系统等,熟悉网络编程…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
-研发大规模分布式计算系统,包括高吞吐的批量计算、高时效的流式计算、高效能的OLAP等 -为全百度提供高性能、高可用、低成本的大数据计算服务 -探索新架构、新技术、新硬件,设计面向大模型的数据处理引擎和服务 -深入理解业务系统,理解项目客户需求,设计和实现符合用户需求的大数据平台系统,确保项目顺利验收
包括英文材料
学历+
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集,并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
还有更多 •••
相关职位
社招3年以上ACG
-负责大数据管理开发平台的研究、设计和开发,包括数据采集、存储、开发、处理、作业调度等工作 -负责大数据管理开发平台的设计和优化,提高产品的实用性和用户体验 -持续优化平台的稳定性和性能,维护系统的稳定运行 -深入理解业务系统,理解项目客户需求,设计和实现符合用户需求的大数据平台系统,确保项目顺利验收
更新于 2025-06-09北京
社招3年以上ACG
-负责大数据平台产品开发,包括数据采集、开发、分析、运维等平台化功能 -负责大数据平台技术迭代,优化平台架构,面向大规模高并发数据处理场景提升平台性能 -深入理解智能云生态,协同适配云上产品,支持业务场景,提升产品易用性和用户体验 -深入理解项目需求,支持私有化产品功能开发与版本迭代,确保项目顺利验收
更新于 2024-11-29北京
社招3年以上D7216
构建高性能分布式的网络系统平台,对快手超大规模数据中心网络进行全方位地监测、控制、管理、运营优化,持续提升网络稳定性与效率、优化网络性能与成本,并建立网络与业务的管控联动,为业务发展提供技术支撑和驱动能力,具体工作方向包括: 1、负责网络监控、遥测(Telemetry/INT)、故障诊断、可视化、网络大数据平台研发; 2、负责网络自动化及IBN系统平台研发; 3、负责SDN控制器及网络流量调度系统平台研发; 4、负责光传输网络管控平台及T-SDN研发; 5、负责容器(虚拟)网络、网关等场景控制面系统平台研发。
更新于 2025-02-14北京