快手推荐架构工程师【数据和存储方向】-算法引擎部
任职要求
1、计算机基本功扎实, 精通C++内存模型及性能调优,掌握现代C++特性(C++17/20),深入理解LSM-Tree、B+Tree等存储引擎原理,能针对SSD/NVMe优化存储结构,熟悉RAFT/Paxos等分布式共识算法,有多副本强一致系统开发经验; 2、掌握分布式系统,具备设计百万QPS系统的经验,掌握多级缓存策略、热点分片处理、零拷贝传输等优化手段,熟悉分布式存储系统核心组件(etcd/ZK等)及开源项目(RocksDB/Ti…
工作职责
1、主导超大规模推荐系统的核心存储架构设计,构建支持千亿级特征的高性能数据管道,优化实时特征计算(毫秒级延迟)与离线特征处理(PB级吞吐)的混合负载调度; 2、研发新一代多模态特征存储引擎,设计支持稀疏矩阵、时序特征、图的高效存储格式,实现特征数据的版本化管理和跨DC级数据同步; 3、打造智能特征服务平台,集成特征血缘追踪、自动降级熔断、热点数据预取等核心能力,支撑日均千亿次特征查询的稳定服务; 4、探索存储技术前沿,落地向量化检索、持久化内存、异构存储池管理等创新技术,构建支持千卡级GPU集群的特征供给体系; 5、设计面向特征工程的开发框架,实现特征变换、特征注册、质量监控的完整工具链,提升算法团队迭代效率。
1、参与快手搜索引擎研发工作,服务数亿海量用户; 2、参与搜索引擎核心架构设计与开发,涵盖的方向包括: (1)负责前沿ANN算法与引擎的研发,实现大容量、高吞吐、高精度、低成本的向量检索引擎,持续构建业界领先的技术能力; (2)负责自研百亿规模的视频、网页,商品等多类资源的检索系统研发,包括且不限于高效的建库系统,高性能的检索引擎; (3)面向搜广推业务,建设统一的检索平台,有机融合ANN,倒排等多类检索引擎,提供极致效率的建库,服务,运维体验。 3、探索AI检索新技术、新思想的应用和落地。
团队介绍:抖音推荐技术团队,负责抖音使用时长占比最高的推荐页的全栈优化,底层模型同时支持抖音其他重要业务场景。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。 随着推荐算法的逐渐演进,当前的推荐训练/推理框架已经不足以满足推荐模型算法迭代的需要,在这样的背景下,我们需要更多的模型算法与工程框架交叉的人才。 1、立足于最前沿的推荐算法,结合当前NLP/CV等领域的算法发展以及最新的硬件条件,对未来一年以上的推荐算法演进路径进行展望和设计; 2、基于未来算法的实际需要,对训练/推理框架、数据流、图引擎、用户行为序列存储等算法模块进行调整和优化,使其可以满足未来算法迭代的需要; 3、结合算法和工程的优势,在当前最前沿的推荐算法基础上寻求突破,提升抖音推荐页下的用户体验。
1.负责京东零售商品理解工程和产品化能力建设,构建统一、稳定、高效的商品资产和服务能力,助力B端商品运营提效和C端体验及效率提升; 2.建设京东零售商品标准CPV、商品知识图谱、标品、同品等基础能力; 3.建设覆盖标签生产、管理、存储以及服务的京东零售统一标签平台、实时化盘货引擎和商品搜索引擎; 4.建设京东零售核心商品系统和链路,统一商品服务,支持百万级在线请求能力; 5.站在京东零售整体视角,能从业务、技术和平台多重视角发现和解决零售业务问题; 6.紧跟前沿技术发展趋势,探索新技术在业务中的应用,解决技术难题,推动创新。