哔哩哔哩资深大数据架构工程师-存储与中间件方向

任职要求

【硬性条件】
●985 / 211 及以上院校全日制本科及以上学历，计算机相关专业
●5 年以上大数据相关工作经验
●至少深度参与过 1 个大型大数据基础设施项目（EB 级存储 / PB 级日处理 / 千节点以上集群 任一）
●Java / Scala / Go / Rust / C++ 中至少两门掌握扎实
●深度参与过 HDFS / Kafka / 对象存储 至少一个组件在生产环境(>= EB 级 / >= 亿级 QPS)的研发和运维
●有 EB 级存储成本优化经验(EC 编码、冷热分层、磁带归档、对象存储)

 【能力素质(满足一项或多项)】
●对分布式存储 / 消息系统的核心机制(一致性协议、副本管理、元数据扩展)有源码级理解
●有跨机房 / 多活 / 容灾的大数据基础设施建设经验
●有大规模数据集成系统(类似 DataX / SeaTunnel / Flink CDC)的设计或落…

工作职责

一、存储与中间件方向(HDFS / Kafka / 磁带 / 数据集成)
1、跟踪分布式存储 / 消息中间件 / 归档存储社区前沿(HDFS / 对象存储 / Kafka / Pulsar / 磁带库),结合业务做选型和落地
2、主导 EB 级存储底座的稳定性、成本优化,包括但不限于:
（1） HDFS NameNode 扩展性、Federation、Router-based 架构
（2）EC 编码、冷热分层、磁带归档、对象存储分层
（3）跨机房 / 多活 / 容灾 / 数据迁移
3、主导 Kafka / Pulsar 在亿级 QPS 入口下的稳定性、扩展性优化,包括但不限于:
（1）集群扩展、分区均衡、副本同步
（2）多租户、配额、流量隔离
（3）跨集群复制 / 多机房灾备
4、主导大数据数据集成体系建设,包括但不限于:
（1）异构数据源(MySQL / Kafka / 对象存储 / 业务系统)接入与同步
（2）全量 + 增量同步、CDC 数据通道
5、数据校验、对账、补数机制
6、推动存算分离、Remote Shuffle Service、新型存储介质(NVMe / SCM / 磁带)在大数据场景的落地

二、AI 赋能基础设施研发
1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流
2、主导 AI 流程自动化建设，为团队赋能： 
（1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化
（2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策
（3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈
（4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成
3、沉淀 AI 工具链最佳实践，推广到全组并向外辐射