
途虎养车数据开发(资深/专家)
社招全职5年以上技术地点:上海状态:招聘
任职要求
1、本科及以上学历,计算机、数学或统计学相关专业;5年以上数据仓库开发经验,其中3年以上专注于实时数仓建设与流量/用户行为分析领域,有大型互联网或电商平台流量域实战经验者优先。 2、掌握如下实时技术栈: 1)精通 Apache Flink 原理与调优,熟悉 StateBackend、Checkpoint、Watermark 等核心机制,有海量数据实时处理经验; 2)熟练掌握 Kafka/Pulsar 等消息中间件,具备复杂流式数据处理能力; 3)精通 ClickHouse / Apache Doris / StarRocks 等OLAP引擎中至少一种,深入理解其存储原理、索引机制及查询优化。 4)数仓理论与建模: 扎实的数据仓库理论基础,精通维度建模(Kimball/Inmon),在流量域有丰富的分层设计(ODS/DWD…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1、实时数仓架构设计: 主导流量域实时数据仓库的架构设计与演进,基于 Flink + Kafka + Hudi/Doris 等技术栈构建低延迟、高吞吐的实时计算链路,支撑流量监控、活动效果实时反馈、用户行为实时分析等核心场景。 2、流量数据体系建设: 深入理解流量运营业务(如渠道投放、用户增长、内容分发、转化漏斗等),负责点击流(Click Stream)、曝光、转化等核心数据的模型设计、ETL开发及指标体系沉淀,确保数据的准确性、一致性和及时性。 3、实时数据服务赋能: 面向运营团队提供秒级/分钟级的实时数据服务能力,支持A/B Test实时评估、流量异常归因、实时人群圈选等应用,将数据价值直接转化为业务决策效率。 4、性能优化与稳定性保障: 负责实时任务的调优、反压处理、数据倾斜治理及资源成本管控;建立完善的实时数据质量监控与告警机制,保障SLA达标。 5、技术规范与团队赋能: 制定实时数仓开发规范与建模方法论,推动离线/实时一体化建设;指导初中级工程师成长,参与技术评审与难点攻关。
包括英文材料
学历+
数据仓库+
https://www.youtube.com/watch?v=9GVqKuTVANE
From Zero to Data Warehouse Hero: A Full SQL Project Walkthrough and Real Industry Experience!
https://www.youtube.com/watch?v=k4tK2ttdSDg
Apache+
https://www.apache.org/
The Apache® Software Foundation (ASF) provides software for the public good, guided by community over code.
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
Kafka+
https://developer.confluent.io/what-is-apache-kafka/
https://www.youtube.com/watch?v=CU44hKLMg7k
https://www.youtube.com/watch?v=j4bqyAMMb7o&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH
In this Apache Kafka fundamentals course, we introduce you to the basic Apache Kafka elements and APIs, as well as the broader Kafka ecosystem.
Pulsar+
https://pulsar.apache.org/docs/next/functions-develop-tutorial/
Write a function for word count.
https://www.baeldung.com/apache-pulsar
Apache Pulsar is a distributed open source Publication/Subscription based messaging system developed at Yahoo.
https://www.youtube.com/watch?v=TKs5T6N78Tc
Discover the seven key features of Apache Pulsar that make it perfect for providing a centralized messaging & data streaming service for an Enterprise.
中间件+
https://www.youtube.com/watch?v=1oWPUpMheGk
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
还有更多 •••
相关职位
社招技术类
1.负责大数据开发平台的设计与研发,包括开发IDE、任务调度、监控运维、元数据管理、adhoc查询等; 2.完善平台功能,优化用户使用体验; 3.负责线上问题的排查和解决,持续优化和提高系统能力。
更新于 2026-06-16上海
社招3年以上信息技术类
【核心职责】 1、平台设计与开发: 参与设计和开发基于 StarRocks 的实时数据仓库架构,负责集群的规划、部署、监控和性能调优。 2、数据模型建设: 深入理解电商业务(如交易、流量、用户、商品、供应链等),设计并构建高效的 StarRocks 表模型(明细模型、聚合模型、更新模型、主键模型),以支持低延迟的即席查询和多维分析。 3、数据接入与集成: 负责将来自不同数据源(如 Kafka(实时日志)、MySQL(业务库)、Hive/Spark(离线数仓)、Flink(实时计算)等)的数据高效、稳定地导入到 StarRocks 中。 4、性能优化: 持续监控和优化 StarRocks 集群性能,包括但不限于 SQL 查询优化、索引策略、分区分桶策略、物化视图设计与使用,解决线上慢查询问题。 5、服务与赋能: 为业务方、数据分析师和产品经理提供稳定、高效的查询服务,并编写技术文档和最佳实践,赋能业务团队自助进行数据分析。 6、技术攻关: 跟进社区发展,研究并引入 StarRocks 的新特性(如 Pipeline 执行引擎、存算分离、数据湖分析等),解决高并发、海量数据下的技术挑战。
更新于 2025-11-26上海