知乎实时数仓开发工程师
任职要求
1、实时数据开发及数据应用经验，计算机科学与技术相关专业，本科及以上学历(优先); 2、具备扎实的 Java/Scala 基础，具备较强编码能力，精通 SQL； 3、熟练掌握 Flink、Kafka、Doris、redis等实时组件，有 Hive/Spark/Hbase等Hadoop生态圈组件的开发和使…
工作职责
1、负责知乎业务离线数据仓库建设与优化和实时数据仓库建设与维护； 2、负责知乎业务数据支持，需要深刻理解业务、抽象模型，高效支持业务； 3、参与大数据模型建设和开发落地、实时数仓架构设计，保障数据质量和服务稳定。
1. 打造业内领先的实时计算框架，支持小红书各业务场景的实时数据处理和分析需求。 2. 构建混合云上的高可用架构，支持存算分离架构，提供分钟级别的引擎故障逃生能力。 3. 提供自动化、智能化的任务诊断调优能力，降低业务运维的成本。 4. 和开源社区保持沟通合作，提升团队和个人在业界的影响力。
1.主导无人机、机器人等复杂系统硬件在环仿真平台的高精度时间同步与系统级实时性架构设计； 2.负责硬件在环仿真平台中多控制器、异构关节驱动与传感器的系统级时间同步机制设计，以及硬件与协议选型、软硬件协同设计，确保运动与感知数据的精准对齐； 3.负责硬件在环仿真平台中链路硬件、协议选型，主导仿真机及软件实时性优化，分析并解决延迟、抖动等问题； 4.跟踪业界前沿的实时系统与时间同步技术，持续推动并优化硬件在环仿真平台的实时性和时间同步性能，并赋能下一代无人机、机器人系统。
1、参与和主导大数据实时数仓的架构设计、方案选型、验证、落地等； 2、负责自动化实时数据接入系统的设计、开发工作，实现游戏日志数据自动化接入； 3、参与构建流批一体的数据自助分析平台，支持业务方自助进行数据的快速定位和分析； 4、负责流计算引擎flink的调度优化、执行优化，支撑高吞吐、大状态作业的稳定运行; 5、建设复杂业务场景的实时数据体系，驱动业务。
1. 核心系统构建： 负责设计与搭建基于 Flink 的实时特征计算平台，保障其高可用、低延迟和高吞吐量。 2. 实时数仓与建模： 负责用户/item特征实时数仓的层次设计、模型开发与优化，构建主题明确、数据可信、易于复用的实时数据模型，为用户/物料特征计算提供高质量数据支撑。 3. 实时特征工程： 开发并优化实时特征管道（Feature Pipeline），包括行为序列、滑动窗口聚合、多流关联等复杂实时特征的加工与存储，为搜推模型提供高质量数据输入。 4. 平台保障与优化： 负责实时数据从接入、处理到输出全链路的稳定性保障、性能调优（如解决数据倾斜、反压问题）和故障排查，确保7x24小时服务稳定。 5. 技术演进： 研究并引入业界先进的流处理技术，解决超大数据量下的状态管理、窗口计算、精确一次语义（Exactly-Once）等技术挑战，推动平台技术架构持续演进。