小红书搜推广存储引擎工程师
任职要求
1. 具备扎实的C/C++语言编程基础,熟悉算法、数据结构、操作系统知识。 2. 3年以上搜推广系统存储和检索引擎研发经验,具备扎实的分布式系统研发功底。 3. 对技术有强烈的好奇心和热情,具备良好的分析和解决…
工作职责
1. 负责小红书搜推广业务新一代索引存储引擎的设计和研发,支撑社交、推荐、搜索、电商、广告等核心业务场景。 2. 包括并不限于正排KV索引、KKV索引、时序索引的高效存储和高性能混合检索引擎。 3. 设计高可用、高性能、可扩展的搜推广基础引擎架构,推动包括并不限于存算分离、冷热分层、软硬协同等技术的落地。 4. 学习和吸纳业界优秀的技术和理论成果,积极探索和拓展新的技术能力,推动团队技术演进。
1.负责推荐业务模型推理全流程研发,支持蚂蚁集团推广搜等场景的模型打分业务。 2.深度优化GPU/CPU模型推理效率,打造高吞吐低延迟的模型推理服务。 3.支持大规模稀疏模型的分布式存储、实时更新、低延迟通信,提供行业先进的推理引擎 4.探索下一代推荐引擎,优化基于大规模稠密参数的推荐服务
职位描述: 在这里,你将接触到国内Top的数字营销平台,了解技术和商业目标的完美结合。你将看到超大规模数据如何实时/高并发/快速处理;你会了解新进的、前沿的分布式系统处理技术。 我们需要你: 1. 支持阿里妈妈超大规模广告数据流批一体化处理; 2. 支持阿里妈妈广告大数据平台的开发、设计与维护工作,打造高可靠、低成本、简单易用的一站式端到端广告数据集成、ETL处理平台; 3. 研究海量数据的存储、传输,优化系统架构,不断提升离近线系统的 时效性、灵活性、性能;
【业务介绍】 作为公司统一的模型训练引擎团队,支撑公司内所有搜推广类业务的训练工程侧工作,包括模型训练、参数服务器、特征样本流水线等,通过引擎能力的持续建设结合多元异构算力为业务提供高效、灵活、稳定的搜广推模型服务。 为公司核心的搜广推业务提供关键的模型训练引擎支撑,解决超大规模稀疏特征训练的核心问题,不断挖掘异构硬件算力,为公司搜广推业务增长提供保障,并获得快速的成长与提升。 【岗位职责】 1、负责小红书搜广推业务线的机器学习训练框架的研发与迭代,核心支持公司所有相关业务场景; 2、深入参与分布式训练、自动并行化、参数服务器、特征样本流水线等系统底层功能的创新设计与优化,实现软硬件协同的极致训练效率; 3、跨团队合作,与公司算法部门深度协同,针对关键项目开展算法与系统的联合优化,推动解决实际业务挑战; 4、推动自动化扩展、智能资源调度、跨架构设备兼容(NV GPU、GPGPU、XPU等)、AI系统可观测性等先进技术在公司模型训练平台落地; 5、跟踪并推动AI系统领域的最新技术趋势(如生成式推荐、AI编译优化、RDMA/NCCL通信计算并发等),持续保持平台业界领先优势。