快手资深后端工程师(大数据应用方向)
社招全职D12135地点:北京状态:招聘
任职要求
1、具备扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战; 2、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3、熟练使用clickhouse、flink、HBase等开源大数据组件,具备数据组件化开发的能力; 4、有足够的耐心梳理和解决复杂而又繁多的产品研发问题,善于沟通与团队协作。
工作职责
1、负责流量平台建设,为业务提供可靠的数据支撑,包括行为分析、埋点管理、NEO等平台产品; 2、通过极致的架构优化,结合大数据引擎打造埋点从生产到分析的一站式流量数据产品; 3、通过攻克万亿级数据量下的数据生产和查询加速等挑战及负责关键方案选型提升分析效率。
包括英文材料
ClickHouse+
[英文] Advanced Tutorial
https://clickhouse.com/docs/tutorial
Learn how to ingest and query data in ClickHouse using the New York City taxi example dataset.
https://www.youtube.com/watch?v=FtoWGT7kS-c
ClickHouse is an open-source column-oriented DBMS for online analytical processing that allows users to generate analytical reports using SQL queries in real-time.
https://www.youtube.com/watch?v=Rhe-kUyrFUE&list=PL0Z2YDlm0b3gcY5R_MUo4fT5bPqUQ66ep
Flink+
https://nightlies.apache.org/flink/flink-docs-release-2.0/docs/learn-flink/overview/
This training presents an introduction to Apache Flink that includes just enough to get you started writing scalable streaming ETL, analytics, and event-driven applications, while leaving out a lot of (ultimately important) details.
https://www.youtube.com/watch?v=WajYe9iA2Uk&list=PLa7VYi0yPIH2GTo3vRtX8w9tgNTTyYSux
Today’s businesses are increasingly software-defined, and their business processes are being automated. Whether it’s orders and shipments, or downloads and clicks, business events can always be streamed. Flink can be used to manipulate, process, and react to these streaming events as they occur.
HBase+
[英文] HBase Tutorial
https://www.tutorialspoint.com/hbase/index.htm
HBase is a data model that is similar to Google's big table designed to provide quick random access to huge amounts of structured data. This tutorial provides an introduction to HBase, the procedures to set up HBase on Hadoop File Systems, and ways to interact with HBase shell.
大数据+
https://www.youtube.com/watch?v=bAyrObl7TYE
https://www.youtube.com/watch?v=H4bf_uuMC-g
With all this talk of Big Data, we got Rebecca Tickle to explain just what makes data into Big Data.
相关职位
社招HNU2
1. 负责生活服务业务大数据平台产品的落地,包括数据参谋、行业360、管理驾驶舱等系列数据平台产品; 2. 负责数据产品架构设计和后端开发,设计和实现Web后端和关键数据服务; 3. 负责数据产品的功能迭代和性能优化,提高效率,优化流程。
更新于 2021-11-18
社招5年以上程序&技术类
1. 负责用增各业务场景下AI应用落地(包括不限于构建用增知识库、广告投放策略优化、社区个性化推荐等),通过技术创新突破现有业务天花板; 2. 完善AI基建,打造AI开发-测试-调优-部署-监控全链路工具链(如模型版本管理、性能诊断工具),提升团队AI迭代效率和AI工程稳定性,可观测性; 3. 追踪AI工程领域前沿技术(向量数据库、模型压缩、推理加速框架),推动团队技术升级。
社招程序&技术类
1、负责企业数据计算平台的后端研发工作,支撑批处理、流处理、实时计算、交互式查询等多场景需求;设计并实现任务调度、资源管理、权限管控、计算作业编排等核心模块; 2、数据处理引擎集成并优化 Flink、Spark、Doris、StarRocks、Paimon 等计算与存储引擎;设计统一作业提交与执行框架,提升平台计算效率与稳定性。 3、提供对外 API/SDK,支持数据研发、指标体系、报表分析、机器学习等上层应用;打造自助式计算服务能力,降低业务方使用门槛; 4、负责大规模数据任务的性能优化与故障排查,确保 SLA;建设监控、告警、审计、任务追踪与成本管理体系; 5、平台架构演进,参与计算平台的架构规划工作,推动计算平台向云原生、湖仓一体化方向演进;调研新技术并推动落地,如 Kubernetes、存算分离、向量化计算、流批一体。