携程Java大数据平台开发工程师(MJ026731)
社招全职5年以上国际业务开发地点：上海状态：招聘
任职要求
岗位要求： 1、具有五年以上的大数据开发经验。 2、精通Java，同时拥有python语言优先 3、具有OLAP引擎实际开发、使用经验，如Impala、Starrocks等，同时了解云产品Hologres、Bigquery优先 4、具有大数据Kudu、Hive、Spark、Flink、数据湖开发调优经验，有较深理解。 5、能够深刻理解、总结业务场景，并能够结合技术来实现业务价值。 6、对新技术敏感、拥有独立思考能力，良好的表达沟通能力，善于总结，良好的团队合作精神 7、有较强的海外背景或英语沟通能力优先，能参与海外云厂商的相关技术沟通
工作职责
1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化，确保集群的高效与稳定运行，提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发，满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等
包括英文材料
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
OLAP+
https://www.youtube.com/watch?v=iw-5kFzIdgY
OLAP (for online analytical processing) is software for performing multidimensional analysis at high speeds on large volumes of data from a data warehouse, data mart, or some other unified, centralized data store.
Impala+
[英文] Impala Tutorials
https://impala.apache.org/docs/build/html/topics/impala_tutorial.html
This section includes tutorial scenarios that demonstrate how to begin using Impala.
Kudu+
https://kudu.apache.org/docs/quickstart.html
Hive+
[英文] Hive Tutorial
https://www.tutorialspoint.com/hive/index.htm
Hive is a data warehouse infrastructure tool to process structured data in Hadoop. It resides on top of Hadoop to summarize Big Data, and makes querying and analyzing easy.
https://www.youtube.com/watch?v=D4HqQ8-Ja9Y
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
BigQuery+
[英文] BigQuery Tutorial
https://www.tutorialspoint.com/bigquery/index.htm
Mastering the GCP tools, especially SQL engines like BigQuery, is critical when it comes to beginning or progressing in a data-oriented career.
相关职位
社招
岗位职责： 1. 平台全生命周期管理：负责大数据平台的架构设计、核心模块研发与全链路维护。通过系统化监控、故障预警与应急响应机制，保障系统稳定运行。 2. 资源效能优化：深度分析平台资源使用状况，通过性能调优、成本控制与资源动态调度策略，实现集群资源利用率提升。同时推动数据治理体系建设，保障数据质量、安全性及合规性。 工作内容： 1. 平台迭代与稳定性保障：负责数据平台核心模块（如分布式调度系统、元数据资产管理、异构数据集成平台等）的持续迭代 2. AI 技术深度融合：参与算法平台与 AI 基础服务的研发，构建智能化数据处理流水线，提升业务研发效率。 3. 智能化数据治理：利用 NLP、大模型 等 AI 技术实现数据治理自动化，降低人工成本，提升数据价值。
更新于 2025-05-14
社招3年以上技术类-开发
1、分布式 NoSQL 存储架构设计与优化：负责大规模分布式 NoSQL存储系统的架构设计、核心模块开发及性能调优，支持 PB 级数据存储需求。 2、实现多租户资源隔离、优先级调度与 SLA 保障，支撑智能信息搜索/推荐/LLM 等高性能业务场景。 3、大数据计算引擎研发与优化：设计并开发流、批计算框架，构建基于 DAG 的动态任务调度系统，实现万级并发任务的资源利用率与 SLA 平衡。 4、攻克每日 PB 级流、批数据处理的稳定性挑战，优化大规模 Join/Aggregation 场景下的 IO 与网络带宽瓶颈。
更新于 2025-09-08
社招3年以上TEG公共技术
1.负责大数据开发平台的设计实现，为公司各业务提供高效稳定的数据研发平台能力； 2.参与到需求评审、技术方案设计、编码实现、代码CR、功能测试等研发全流程工作； 3.与产品经理、测试运维等相关团队紧密协作，推动平台能力的高效快速落地； 4.持续优化系统架构，沉淀平台级公共服务组件，促进平台研发迭代效率，进一步提升系统性能和稳定性。
更新于 2025-08-28
社招3年以上计算机网络技术类
1. 负责或参与大数据平台的架构设计以及基础组件的调优、改造、升级； 2. 结合客户需求，负责和参与大数据产品的设计与研发； 3. 负责数据平台新技术的研究及应用落地。
更新于 2024-10-16