字节跳动大数据开发工程师-流式计算方向
任职要求
1、对流式计算系统有深入的了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先; 2、熟悉常见消息队列原理和应用调优,有Kafka、Plusar、RocketMQ等项目源码阅读经验优先; 3、熟悉Java、C++、Scala、Python等编程语言,有优秀…
工作职责
1、为大规模推荐系统设计和实现合理的实时(流式计算)数据系统; 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型; 3、生产系统的Trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 4、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。
字节跳动推荐架构团队,负责字节跳动旗下相关产品的推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能。 1、为大规模推荐系统设计和实现合理的实时(流式计算)数据系统; 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型; 3、生产系统的trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 4、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。
职位描述: 1. 负责设计与开发公司级高性能、高可用的实时计算平台,基于Apache Flink构建和优化核心实时数据管道,支撑关键业务场景。 2. 深入钻研Flink内核机制(如内存管理、任务调度、容错恢复),具备源码级调试、性能优化与定制开发能力,攻克生产环境中复杂技术挑战。 3. 主导实时任务的深度优化,包括但不限于反压调控、数据倾斜处理、状态管理及Checkpoint机制调优,保障实时服务的高吞吐、低延迟与稳定运行。 4. 结合业务需求,负责重大实时数据项目的技术方案选型、架构设计及评审,并输出清晰、规范的技术文档。 5. 跟踪流计算领域前沿技术(如Flink CDC、Apache Paimon、流批一体等),推动创新技术在公司落地,赋能团队成员,提升整体技术水平。
团队介绍:字节跳动推荐架构团队,负责字节跳动超10亿用户产品推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能;实现灵活可扩展的高性能存储系统和计算模型,打通离在线数据流,构建统一的数据中台,支持推荐/搜索/广告。 1、为大规模推荐系统设计和实现合理的离线/实时数据架构,打造业界领先的离在线存储、批式流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的平台化基础设施; 2、深入推荐系统,探索数据架构如何为业务赋能,提升线上效果; 3、尝试打破现有边界,探索核心框架的演进、新技术的应用、推荐大模型的落地; 4、生产系统的TROUBLE-SHOOTING和成本优化,设计和实现必要的机制和工具保障生产系统整体运行的稳定性与效率。