希音StarRocks资深开发(大数据工程/画像标签)-上海
社招全职3年以上信息技术类地点:上海状态:招聘
任职要求
一、必备要求: 经验背景: 1、计算机相关专业本科及以上学历,3年以上大数据领域开发经验。 2、至少1年以上的 StarRocks/Doris 核心开发或运维调优经验,深刻理解其架构原理(FE/BE、数据分布、查询流程等)。 3、拥有在电商、广告、金融等海量数据和高并发查询场景下的实战经验。 技术能力: 1、精通 SQL,具备丰富的 SQL 性能调优经验,能够快速定位并解决慢查询问题。 2、熟悉大数据生态,精通至少一种 OLAP 引擎,如 StarRocks/Doris, ClickHouse, Druid, Kylin 等。 3、熟悉 Linux 操作系统,具备良好的 Shell/Py…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
【核心职责】 1、平台设计与开发: 参与设计和开发基于 StarRocks 的实时数据仓库架构,负责集群的规划、部署、监控和性能调优。 2、数据模型建设: 深入理解电商业务(如交易、流量、用户、商品、供应链等),设计并构建高效的 StarRocks 表模型(明细模型、聚合模型、更新模型、主键模型),以支持低延迟的即席查询和多维分析。 3、数据接入与集成: 负责将来自不同数据源(如 Kafka(实时日志)、MySQL(业务库)、Hive/Spark(离线数仓)、Flink(实时计算)等)的数据高效、稳定地导入到 StarRocks 中。 4、性能优化: 持续监控和优化 StarRocks 集群性能,包括但不限于 SQL 查询优化、索引策略、分区分桶策略、物化视图设计与使用,解决线上慢查询问题。 5、服务与赋能: 为业务方、数据分析师和产品经理提供稳定、高效的查询服务,并编写技术文档和最佳实践,赋能业务团队自助进行数据分析。 6、技术攻关: 跟进社区发展,研究并引入 StarRocks 的新特性(如 Pipeline 执行引擎、存算分离、数据湖分析等),解决高并发、海量数据下的技术挑战。
包括英文材料
学历+
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
StarRocks+
https://docs.starrocks.io/docs/quick_start/
These Quick Start guides will help you get going with a small StarRocks environment.
https://itnext.io/introduction-to-starrocks-a-new-modern-analytical-database-1db2177d26e1
Recently, I had the opportunity to explore StarRocks which is the new kid in the block when talking about massive scale databases which are able to handle petabytes of data.
Doris+
https://doris.apache.org/docs/gettingStarted/what-is-apache-doris
高并发+
https://www.baeldung.com/concurrency-principles-patterns
In this tutorial, we’ll discuss some of the design principles and patterns that have been established over time to build highly concurrent applications.
https://www.baeldung.com/java-concurrency
Handling concurrency in an application can be a tricky process with many potential pitfalls. A solid grasp of the fundamentals will go a long way to help minimize these issues.
https://www.oreilly.com/library/view/concurrency-in-go/9781491941294/
You’ll understand how Go chooses to model concurrency, what issues arise from this model, and how you can compose primitives within this model to solve problems.
https://www.oreilly.com/library/view/modern-concurrency-in/9781098165406/
With this book, you'll explore the transformative world of Java 21's key feature: virtual threads.
https://www.youtube.com/watch?v=qyM8Pi1KiiM
https://www.youtube.com/watch?v=wEsPL50Uiyo
SQL+
https://liaoxuefeng.com/books/sql/introduction/index.html
什么是SQL?简单地说,SQL就是访问和处理关系数据库的计算机标准语言。
https://sqlbolt.com/
Learn SQL with simple, interactive exercises.
https://www.youtube.com/watch?v=p3qvj9hO_Bo
In this video we will cover everything you need to know about SQL in only 60 minutes.
性能调优+
https://goperf.dev/
The Go App Optimization Guide is a series of in-depth, technical articles for developers who want to get more performance out of their Go code without relying on guesswork or cargo cult patterns.
https://web.dev/learn/performance
This course is designed for those new to web performance, a vital aspect of the user experience.
https://www.ibm.com/think/insights/application-performance-optimization
Application performance is not just a simple concern for most organizations; it’s a critical factor in their business’s success.
https://www.oreilly.com/library/view/optimizing-java/9781492039259/
Performance tuning is an experimental science, but that doesn’t mean engineers should resort to guesswork and folklore to get the job done.
OLAP+
https://www.youtube.com/watch?v=iw-5kFzIdgY
OLAP (for online analytical processing) is software for performing multidimensional analysis at high speeds on large volumes of data from a data warehouse, data mart, or some other unified, centralized data store.
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
还有更多 •••
相关职位
社招5-7年技术
1. 负责业务安全数据域全链路建设、数据分层框架搭建 2. 负责安全离线特征、实时特征开发;为安全风控策略提供快速稳定的数据服务 3. 负责安全在线及离线数据体系的规划、设计及落地;为安全风控策略提供高效的数据支持
更新于 2025-06-20北京
社招5年以上程序&技术类
1、负责米哈游数据平台的后端研发与架构设计,涉及 BI数据分析平台、数据查询引擎、埋点、画像等核心系统; 2、充分利用微服务、大数据与 OLAP 引擎、算法、查询性能优化等技术,搭建高可用、高可扩展、低耦合的数据中台服务; 3、与数据产品和前端团队深度协作,打造灵活易用、高效的数据应用,降低数据使用门槛,提升数据使用效率; 4、负责优化数据链路的成本、性能与稳定性,追求极致的数据服务能力。
上海
社招5年以上
1.深挖数据价值,构建和维护车端信号数据仓库体系和数据指标体系,为算法和数据闭环提供框架支持; 2.参与构建批流统一的数据分析平台,支持百亿级自动驾驶感知和全栈数据的快速定位和分析; 3.参与平台架构规划,负责前沿技术的跟踪研究,工具链的选型测试,解决、攻克数据平台的核心技术难题; 4.建立监控和反馈指标,持续优化改进产品的架构及性能,保证PB级数仓的数据质量和平台稳定性。
更新于 2025-05-14广州