字节跳动大数据开发工程师-流式计算方向
任职要求
1、对流式计算系统有深入的了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先; 2、熟悉常见消息队列原理和应用调优,有Kafka、Plusar、RocketMQ等项目源码阅读经验优先; 3、熟悉Java、C++、Scala、Python等编程语言,有优秀的编码和Trouble-shooting能力; 4、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情,有PB级别数据处理经验加分; 5、有数据湖开发经验,熟悉Hudi、Iceberg、DeltaLake等至少一项数据湖技术,有源码阅读经验优先; 6、熟悉其他大数据系统经验者优先,YARN、K8S、Spark、SparkSQL、Kudu等;有存储系统经验加分,HBase、Casscandra、RocksDB等。
工作职责
1、为大规模推荐系统设计和实现合理的实时(流式计算)数据系统; 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型; 3、生产系统的Trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 4、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。
字节跳动推荐架构团队,负责字节跳动旗下相关产品的推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能。 1、为大规模推荐系统设计和实现合理的实时(流式计算)数据系统; 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型; 3、生产系统的trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 4、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。
团队介绍:字节跳动推荐架构团队,负责字节跳动超10亿用户产品推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能;实现灵活可扩展的高性能存储系统和计算模型,打通离在线数据流,构建统一的数据中台,支持推荐/搜索/广告。 1、为大规模推荐系统设计和实现合理的离线/实时数据架构,打造业界领先的离在线存储、批式流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的平台化基础设施; 2、深入推荐系统,探索数据架构如何为业务赋能,提升线上效果; 3、尝试打破现有边界,探索核心框架的演进、新技术的应用、推荐大模型的落地; 4、生产系统的TROUBLE-SHOOTING和成本优化,设计和实现必要的机制和工具保障生产系统整体运行的稳定性与效率。
1、为大规模推荐系统设计和实现合理的流式计算系统; 2、设计和实现灵活可扩展、稳定、高性能存储系统和计算模型; 3、生产系统的Trouble-shooting,设计和实现必要的机制和工具保障生产系统稳定运行; 4、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。