滴滴高级kv存储研发工程师(J250617018)
任职要求
1、1-3年以上分布式系统或持久化存储、KV存储等相关开发及运维经验; 2、熟悉Rocksdb、Redis、Tair、Pika、TiKV、Cassandra、DynamoDB等一个或多个业界存储项目或产品,有相关的应用开发经验; 3、熟悉CPP/Go中至少一种,对工程质量有很高的自我要求; 4、计算机理论基础扎实,对操作系统原理、TCP/IP等有比较深入的理解; 5、优秀的沟通、协调与逻辑思维能力与责任心,具有很强的分析问题和解决问题的能力,对解决具有挑战性的问题充满激情,以结果为导向并对结果负责。
工作职责
1. 面向公司研发部门的提供稳定、高效、易用的大规模KV持久化存储产品,负责KV产品的架构和运维体系设计、研发工作; 2. 持续优化KV系统稳定性、性能、成本、可用性、可扩展性、可维护性等; 3. 深入理解业务场景和需求,发掘和思考技术演进方向,交付高质量结果。
1.负责腾讯云对象存储分布式缓存类产品研发工作; 2.参与大数据存储、AI存储等新兴领域的存储设计和分析工作; 3.参与元数据管理和KV Engine的优化和调优; 4.对于Hadoop、POSIX和S3协议进行优化。
1. 参与美团基金业务系统架构设计与产品研发,深入理解用户需求,推动业务发展; 2. 深入理解业务需求,调研现有方案,并根据需求进行技术方案设计,承担关键功能模块的设计和开发; 3. 参与核心系统的建设,持续提升系统的高并发、高可用、扩展性等; 4. 负责性能优化、故障排查和解决线上问题等系统运维工作; 5. 指导初中级工程师,积极组织参与团队技术分享,促进团队成员共同进步。
团队介绍:推荐架构团队支撑字节跳动旗下多款APP产品,如抖音、今日头条、番茄小说、西瓜视频、剪映等推荐系统架构的设计和开发,保障系统的稳定和高可用,致力于抽象系统通用组件和服务,建设推荐中台、数据中台;关于在线服务,在这里你有机会参与大规模机器学习在线预估框架的研发与优化,也有机会参与模型训练与调度等相关问题的研究与突破,解决系统瓶颈,降低成本开销;如你对大数据感兴趣,在这里也有机会参与通用实时计算系统的开发、构建统一的推荐特征中台,为推荐业务实现先进的消重、计数、特征服务等;我们期待热爱技术的你加入,一起创造更多可能。 1、负责设计和实现面向推荐/广告大模型推理和训练的多层级存储系统,综合利用显存、本地内存、分布式内存/磁盘、远端大容量存储系统(HDFS)等多种介质进行数据的存储和迁移管理,实现近计算缓存+远端大容量存储的一体化分级系统; 2、负责优化推荐大模型KV Cache命中率,从推理框架、流量调度、多级缓存等多个系统维度入手定制化优化策略,和业务方协作完成端到端推理性能加速; 3、负责建设搜广推通用用户行为数据存储,设计和实现离在线EB级别行为数据的统一存储、IO、近端Cache解决方案,支撑EB级别训练和推理数据,提供高可用保障,在离在线混合负载下,高吞吐和低延时能力的分布式存储系统。