网易大数据-资深数据架构师

一、平台工程方向(集群管理 / 组件发布 / 运维诊断 / 资源治理) 1、主导大数据集群管理平台建设,支撑全公司万级节点、十数套核心组件的生命周期管理,包括但不限于: （1）集群部署 / 扩缩容 / 滚动升级 （2）多集群、多机房统一管控 （3）配置中心、灰度发布、版本管理 2、主导大数据组件的发布与持续交付体系,包括但不限于: （1）大数据组件(Hadoop / Spark / Flink / Kafka / ClickHouse 等)的 CI/CD 流水线建设 （2）自动化测试、变更影响分析、灰度策略、自动回滚 （3）内部分支管理与社区版本同步策略 3、主导大数据运维诊断体系建设,包括但不限于: （1）全栈可观测性(Metrics / Logs / Tracing / Profiling) （2）智能告警、根因分析、故障自愈 （3）慢任务 / 慢查询诊断、性能 profiling 自动化 4、主导大数据集群资源治理体系建设,包括但不限于: （1）多租户隔离、配额管理、弹性资源池 （2）资源利用率分析、成本核算、容量规划 （3）K8s / YARN 混部、潮汐调度、超卖与回收 5、推动 AI × 平台融合:智能资源调优、AI Agent 运维助手、对话式集群管理 二、AI 赋能基础设施研发 1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具 2、主导 AI 流程自动化建设，为团队赋能： （1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化 （2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策 （3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈 （4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成 3、沉淀 AI 工具链实践

一、存储与中间件方向(HDFS / Kafka / 磁带 / 数据集成) 1、跟踪分布式存储 / 消息中间件 / 归档存储社区前沿(HDFS / 对象存储 / Kafka / Pulsar / 磁带库),结合业务做选型和落地 2、主导 EB 级存储底座的稳定性、成本优化,包括但不限于: （1） HDFS NameNode 扩展性、Federation、Router-based 架构 （2）EC 编码、冷热分层、磁带归档、对象存储分层 （3）跨机房 / 多活 / 容灾 / 数据迁移 3、主导 Kafka / Pulsar 在亿级 QPS 入口下的稳定性、扩展性优化,包括但不限于: （1）集群扩展、分区均衡、副本同步 （2）多租户、配额、流量隔离 （3）跨集群复制 / 多机房灾备 4、主导大数据数据集成体系建设,包括但不限于: （1）异构数据源(MySQL / Kafka / 对象存储 / 业务系统)接入与同步 （2）全量 + 增量同步、CDC 数据通道 5、数据校验、对账、补数机制 6、推动存算分离、Remote Shuffle Service、新型存储介质(NVMe / SCM / 磁带)在大数据场景的落地 二、AI 赋能基础设施研发 1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流 2、主导 AI 流程自动化建设，为团队赋能： （1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化 （2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策 （3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈 （4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成 3、沉淀 AI 工具链最佳实践，推广到全组并向外辐射

一、OLAP 引擎方向(ClickHouse / Trino / 查询加速) 1、跟踪 OLAP 引擎社区前沿(ClickHouse / Trino / StarRocks / Doris / Presto / ES),结合 bilibili BI / 实时分析 / Ad-hoc 业务做选型 2、主导 ClickHouse / Trino 在 PB 级数据规模下的稳定性、性能优化,包括但不限于: （1）向量化执行、列存优化、Codegen （2）分布式查询计划、Join 算法选择、CBO 改进 （3）物化视图 / 缓存层 / 二级索引 3、推动 OLAP 引擎与湖仓(Iceberg / Paimon)的深度集成,做高效的湖上查询加速 4、解决高并发点查、复杂分析、AI 数据探索等真实查询场景的工程难题 5、与平台工程团队配合,做好 OLAP 引擎的多租户、资源隔离、SLA 保障 二、AI 赋能基础设施研发 1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流 2、主导 AI 流程自动化建设，为团队赋能： （1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化 （2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策 （3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈 （4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成 3、沉淀 AI 工具链最佳实践，推广到全组并向外辐射

一、流计算方向(Flink / 流批一体) 1、跟踪 Flink / Flink CDC / Paimon 的社区前沿,结合实时业务做选型和落地 2、主导 Flink 引擎在亿级 QPS 入口、万级 TaskManager 规模下的稳定性、性能优化,包括但不限于: （1）Checkpoint 加速 / Disaggregated State / Async State API （2）大状态作业的 RocksDB / ForSt 调优 （3）反压治理 / 资源弹性 / Adaptive Scheduler 3、推动流批一体在 bilibili 实时数仓的落地(Flink + Paimon / Iceberg) 4、主导 Flink 大版本升级和 savepoint 兼容性体系建设(savepoint / 双跑 / 灰度 / 回滚) 5、解决 CDC 入湖、流式 join、实时大屏等典型场景的工程难题 二、AI 赋能基础设施研发 1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流 2、主导 AI 流程自动化建设，为团队赋能： （1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化 （2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策 （3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈 （4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成 3、沉淀 AI 工具链最佳实践，推广到全组并向外辐射