滴滴大数据存储开发工程师(JR20260423006)
任职要求
1. 计算机或相关专业本科及以上学历，具备 3 年及以上大数据平台、分布式存储或大数据基础设施相关研发经验； 2. 精通 Java，具备扎实的编程基础，熟悉分布式系统设计与开发； 3. 深入理解 HDFS、Ozone、Hive 中一个或多个开源组件，熟悉其核心原理，具备源码级阅读、调试或问题分析能力； 4. 具备较强的生产环境问题定位与解决能…
工作职责
1. 负责滴滴大数据离线存储引擎 HDFS 的建设与演进，包括存储架构优化、稳定性治理、性能调优、成本优化等，支撑海量数据的高效、稳定、安全存储与访问； 2. 参与大数据平台整体架构设计与核心能力开发，结合业务发展需求和技术演进方向，推动存储引擎及相关基础设施持续升级； 3. 跟踪大数据存储领域前沿技术发展，积极参与开源社区交流，引入适用于公司业务场景的能力与系统，推动内部优秀技术成果的沉淀与外部生态共建。
7 亿快手用户每天都在生产百 PB 级的数据，涵盖短视频、直播、用户画像、AI 训练样本等高价值数字资产。作为快手存储团队的核心成员，你将参与构建下一代 EB 级大数据存储系统，以极致性价比保障数据稳固，支撑离线计算、实时计算、数据湖、AI 训练等关键业务场景。 1、负责下一代 EB 级大数据存储的设计与研发，面向海量数据，提供高可用、高可靠、高吞吐、低成本的存储解决方案； 2、深入探索存储引擎、元数据管理、冷热数据分层等核心技术，持续提升稳定性、扩展性以及成本效率； 3、结合 NVMe、QLC SSD、RDMA 等前沿硬件技术，推动高性能存储架构在快手的落地。
负责大数据分布式存储系统(HDFS etc.)的架构设计及研发⼯作。设计并开发业界领先的超⼤规模分布式统⼀存储系统，⽀撑数据仓库，搜索，⼴告，推荐，深度学习平台，实时计算等业务的稳定运⾏。 1. 主导超⼤规模的下⼀代分布式元数据存储服务的设计⼯作。设计开发⽅案解决多租户场景下的统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题； 2. 带领团队重新设计及改造开源HDFS系统，以解决10k+集群规模下的NameNode性能及内存瓶颈问题，数据层热点，稳定性，⼀致性等挑战，提升扩展性以⽀持数据及集群规模的⾼速增⻓； 3. 与上层应⽤团队深度合作，针对⼤规模查询引擎，深度学习平台等应⽤场景进⾏深度定制设计及优化，共同解决超大数据规模下的性能及稳定性挑战； 4. 与IDC团队深度合作，参与存储与⽹络领域软硬件结合(RDMA/SPDK/NVMe-oF etc.)的⼯程创新探索, 设计开发底层OS及硬件友好的⾼性能存储系统。
1、协助负责开发和维护大数据存储与数仓相关引擎服务，包括 HDFS、HBase、Hive、Ozone 等核心组件 2、协助负责对接平台方和业务方需求，围绕开源及内部大数据系统开展二次开发、功能优化与性能调优 3、参与分析和解决用户在存储、查询、数仓等场景中的痛点问题，提供高可用、高性能的解决方案 4、开发自动化运维和管理工具，配合监控告警体系，保障系统日常稳定运行与故障快速恢复。
针对数据仓库、搜索、推荐、机器学习等场景，优化大数据分布式存储系统的性能和成本，提供跨地域可横向扩展的能力，构建元数据系统，提供业务自动化迁移能力。 1. 优化大数据分布式存储系统(HDFS, etc.)的效能，使用多层次存储、EC编码等手段降低运营成本，利用操作系统层缓存、内存、NVME等设备优化存储系统的读写性能，提高上层应用的效率； 2. 开发大数据分布式存储系统(HDFS, etc.)的跨地域方案，利用有限的带宽和资源实现对用户透明、一致性的使用体验，保障存储系统多地域的可横向扩展性； 3. 开发描述大数据分布式存储的元数据系统，建立全局统一的目录树结构，简化上层应用与底层存储的交互，实现可横向扩展的元数据系统，并提供业务透明的自动化迁移能力，降低运维成本。