小红书流存储引擎专家
任职要求
1. 计算机或相关专业本科及以上学历，有扎实的计算机基础和算法数据结构功底，对技术有好奇心； 2. 熟悉主流的大数据存储产品（Kafka/HDFS/HBase/Alluxi…
工作职责
1. 主导流存储引擎的研发与优化工作，构建一流的数据基础设施，满足AI+BI对数据Infra不断增长的需求。 2. 紧跟业界新思路，推动流存储技术选型与创新，落地具有行业影响力的业务成果。 3. 和开源社区保持沟通合作，提升团队和个人在业界的影响力。
【核心技术研发】主导数据湖格式引擎（Iceberg/Hudi/Delta Lake/Paimon）内核开发与性能调优，构建支持批流一体与高效增量处理的技术体系； 【业务支撑】主导生产集群疑难问题诊断与根因分析，协同运维保障平台高可用性，提供业务方全链路大数据平台使用支持； 【平台规划】参与计算平台技术架构演进设计，提升湖仓一体能力，基于云原生IAAS或自建IAAS构建高可靠、高性能、低成本的计算基础设施；
数据引擎-存储引擎团队，负责自研实时数仓存储服务的研发，实现一份存储同时满足流计算、批计算、交互式分析、点查等多种场景。团队内部有多名 Apache Committer，在国内外有较强的技术影响力，与众多优秀的大数据计算、存储领域专家一起合作，一起打造业界领先实时数仓存储服务。 职位描述: 1、打造业界领先的流批一体实时数仓存储服务，支撑支撑字节跳动众多核心业务线(如抖音，今日头条，电商)； 2、负责消息存储引擎、KV 存储引擎等核心组件的内核研发； 3、负责实时数仓存储的生态研发，与 Flink，Presto，Spark 等计算引擎深度结合。
1. 支撑搜推核心业务的统一检索引擎建设，包含核心存储引擎建设（正倒排索引、向量化检索、KV存储等）、检索引擎建设（SQL化的查询引擎）、索引构建系统、在线召回系统。 2. 负责流批一体的数据处理系统建设，支撑美团全业务线供给、数百数据源、百亿数据的接入处理、实时索引构建和更新。 2. 从离线数据处理、索引构建、在线召回的一站式平台研发，支持业务的一站式迭代、支持大规模存储服务的自动化运维、auto-resharding、弹性伸缩、离在线混布。
1. 负责智算高性能存储系统架构设计与开发，面向AI训练场景的高性能并行文件系统模块开发，设计多级元数据服务架构，支撑海量文件与高吞吐数据流。 2. 软硬件定义，机型设计，构建存算协同机制，实现GPU Direct Storage、KV Cache/Share，不断提升存储系统性能和减少计算。 3. 保障存储系统高可用与数据安全，通过分布式强一致性、同/异步复制提升数据可靠性，设计系统自愈能力应对磁盘/节点异常，增强系统可观测和易运维能力，并通过测试与故障注入得到验证。