小红书离线计算引擎工程师（AGI 数据链路方向）

1、参与公司大数据平台架构的设计、优化与研发工作，涵盖 Spark、Hadoop、HBase、Iceberg 等核心组件 2、根据业务需求，设计高可用、高扩展性、高性能的大数据计算方案 3、参与 Iceberg 数据湖表的架构设计、规范制定与性能调优 4、参与 HBase 集群规划、表设计、预分区策略、热点优化及日常运维支持 5、参与 Spark 作业调优、资源管理与作业框架建设，提升整体计算稳定性与效率 6、配合团队进行 Hadoop 平台建设、集群管理、版本升级与安全策略落地 7、跟踪大数据技术前沿，结合业务场景进行技术预研和落地。

岗位职责： 1. 负责离线计算基础组件&平台的开发和维护工作，保证系统的稳定、高效 2. 参与离线数据处理架构设计，提升数据开发效率和数据质量 工作内容： 1. 负责离线计算基础组件（Hadoop、Spark、Hive等）的优化和稳定性建设 2. 负责离线数据平台建设，提升数据开发、调度和运维效率 3. 解决离线数据处理中的性能瓶颈和稳定性问题

一、离线计算方向(Spark / 向量化执行引擎) 1、跟踪 Spark / MapReduce / 向量化执行引擎(Gluten / Velox / Photon / DuckDB)的社区前沿,结合 bilibili 业务做选型和落地 2、主导 Spark 引擎在 PB 级日处理、千节点集群下的稳定性、性能优化,包括但不限于: （1）Catalyst 优化器改造 （2）Shuffle 优化(Remote Shuffle Service / Celeborn / Magnet) （3）AQE / Dynamic Allocation / Spec Execution 深度调优 3、推动 Spark 与向量化引擎(Gluten + Velox)的深度集成,降低 CPU 成本、提升查询性能 4、解决批处理任务的资源效率、SQL 兼容性、调度延迟等真实工程问题 5、与湖仓团队配合,做好 Spark on Iceberg / Paimon 的查询和写入优化 二、AI 赋能基础设施研发 1、熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流 2、主导 AI 流程自动化建设，为团队赋能： （1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化 （2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策 （3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈 （4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成 3、沉淀 AI 工具链最佳实践，推广到全组并向外辐射

阿里巴巴智能信息事业群，聚焦AI在信息服务赛道的创新应用，从工具到服务，持续为用户提供高效、智能的AI应用。智能信息事业群核心产品为夸克、通义、UC浏览器、书旗小说、超级汇川等，以多产品矩阵，覆盖横跨各年龄段的7亿+用户人群，服务超10万+客户。 如果你想加入到业界最先进的文本及多模态大模型的训练和Agent应用相关的项目中； 如果你想参与内容数据的采集、存储及处理，支持大模型训练语料及AI搜索业务数据供给； 如果你想接触世界领先的大数据处理与应用的技术和平台，获得大数据浪潮之巅的各类大牛的指导； 那就加入我们吧！