携程高级数据工程师(MJ023981)
社招全职5年以上技术团队AI & BI地点:上海状态:招聘
任职要求
任职要求: 拥有计算机科学、信息技术、数据科学或相关领域的学士学位;硕士学位优先。 至少5年以上的数据仓库设计和开发经验。 精通SQL和至少一种现代数据处理语言(如Python或Scala)。 熟悉大数据技术栈,包括但不限于Hadoop、Spark、Kafka等。 有使用云服务(如AWS、Azure或Google Cloud)的经验。 具备数据建模、数据治理和数据质量管理的实践经验。 强大的分析和问题解决能力。 出色的沟通和团队合作能力。 能够在快节奏和不断变化的环境中工作。
工作职责
职位概述: 作为数据开发专家,您将负责设计、开发和维护数据仓库、数据湖和数据管道,确保数据的准确性、完整性和可访问性。您将与数据科学家、分析师和业务团队紧密合作,提供数据支持,推动数据驱动的决策和创新。 设计和实现高效的数据模型,支持复杂的数据查询和分析需求。 开发和维护数据集成和ETL(提取、转换、加载)流程。 优化数据存储解决方案,确保数据的安全性和合规性。 与跨职能团队合作,理解业务需求,提供定制化的数据解决方案。 监控数据质量,确保数据准确性和一致性。 跟踪和评估新兴的数据技术和工具,推动技术创新。 编写技术文档,为团队成员提供指导和培训。 管理数据项目的时间表和预算,确保按时交付高质量的成果。
包括英文材料
数据科学+
https://roadmap.sh/ai-data-scientist
Step by step roadmap guide to becoming an AI and Data Scientist
学历+
数据仓库+
https://www.youtube.com/watch?v=9GVqKuTVANE
From Zero to Data Warehouse Hero: A Full SQL Project Walkthrough and Real Industry Experience!
https://www.youtube.com/watch?v=k4tK2ttdSDg
SQL+
https://liaoxuefeng.com/books/sql/introduction/index.html
什么是SQL?简单地说,SQL就是访问和处理关系数据库的计算机标准语言。
https://sqlbolt.com/
Learn SQL with simple, interactive exercises.
https://www.youtube.com/watch?v=p3qvj9hO_Bo
In this video we will cover everything you need to know about SQL in only 60 minutes.
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文,免费,零起点,完整示例,基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
Scala+
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
Hadoop+
https://www.runoob.com/w3cnote/hadoop-tutorial.html
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集,并且支持在单台计算机到几千台计算机之间进行扩展。
[英文] Hadoop Tutorial
https://www.tutorialspoint.com/hadoop/index.htm
Hadoop is an open-source framework that allows to store and process big data in a distributed environment across clusters of computers using simple programming models.
Spark+
[英文] Learning Spark Book
https://pages.databricks.com/rs/094-YMS-629/images/LearningSpark2.0.pdf
This new edition has been updated to reflect Apache Spark’s evolution through Spark 2.x and Spark 3.0, including its expanded ecosystem of built-in and external data sources, machine learning, and streaming technologies with which Spark is tightly integrated.
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
AWS+
https://aws.amazon.com/
Amazon Web Services offers reliable, scalable, and inexpensive cloud computing services. Free to join, pay only for what you use.
Azure+
https://azure.microsoft.com/
Invent with purpose, realize cost savings, and make your organization more efficient with Microsoft Azure’s open and flexible cloud computing platform.
数据治理+
https://www.ibm.com/think/topics/data-governance
Data governance is the data management discipline that focuses on the quality, security and availability of an organization’s data.
https://www.youtube.com/watch?v=uPsUjKLHLAg
Building data fabric eliminates the technological complexities of data governance so users can connect to the right data at the right time, regardless of where it resides.
相关职位

社招4年以上
工作职责: 作为Lalamove的数据工程师,您将加入正在成长的数据仓库团队,设计、构建和维护我们的数据仓库。数据只有在被理解的时候才有用。公司中的其他数据团队,包括BI团队、数据科学团队、优化团队和不同功能的数据分析师,依赖于中心化数据仓库中干净和处理过的数据,以最大限度地提高业务影响。数据仓库团队将是数据仓库设计的所有者,以及处理数据仓库的数据管道的所有者。设计、实现和优化ETL数据管道与上游消费者和下游用户合作,将需求转化和集成到我们的数据模型中理解、记录和维护业务定义、数据字典和数据映射
更新于 2022-09-02
社招A92756
1. 负责小米汽车APP数据仓库架构设计与数据集市建设, 包括车控、购车、社区、商城等业务域; 2. 负责面向用户的APP数据工程相关工作; 3. 快速输出并不断沉淀标准化的产品数据体系,让业务的数据化运营更加高效、便捷; 4. 负责数据体系管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地,元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用,提升数据易用性、可用性及稳定性;
更新于 2025-09-08
社招1-3年网易有道
1. 参与升学中心数据仓库设计与研发,完成数据建模的设计和开发以及数据监控,性能优化等相关技术工作 2. 结合升学中心业务特点,进行指标/标签体系的搭建 3. 参与数仓研发质量保障体系的完善和实施,打造稳定可靠的数据服务和保障体系 4. 调研和跟进大数据技术发展趋势进行相关数据方案的探索落地 5. 编写和维护数仓文档
更新于 2025-04-03