拼多多搜广推数据开发工程师
任职要求
1、精通数据仓库模型设计，具备丰富的ETL开发及海量数据加工处理经验； 2、具备丰富的Flink实时计算开发与调优经验，精通高并发、高可用、可扩展分布式系统设计原则与实践； 3、具备分布式数据存储与计算平台(Hadoop生态)应用开发经…
工作职责
1、负责电商搜索、广告、推荐等核心业务数据体系及相关工具平台的规划、建设与持续优化，高效支持算法、数据分析、工程等团队的数据需求； 2、深入理解业务逻辑，抽象业务需求并设计可扩展、高性能的数据技术架构，快速响应业务变化，构建高效、可靠的数据互通与共享机制； 3、负责数据处理链路（离线/实时）的日常运维、监控与保障，确保数据稳定、高效产出，及时解决数据问题。
1. 参与搜索、广告、推荐系统的数据处理工作，协助团队完成数据清洗、预处理和特征工程； 2. 协助开发和优化大数据处理流程，提升数据处理效率和质量； 3. 学习和研究最新的大数据处理技术和工具，为团队带来新的思路和方法。
【业务介绍】 作为公司统一的模型训练引擎团队，支撑公司内所有搜推广类业务的训练工程侧工作，包括模型训练、参数服务器、特征样本流水线等，通过引擎能力的持续建设结合多元异构算力为业务提供高效、灵活、稳定的搜广推模型服务。 你将专注于大规模AI训练系统最核心的性能优化赛道，直面千亿参数模型训练中的效率瓶颈，解决工业级AI系统在性能与规模上面临的真实挑战。 【岗位职责】 1、深入参与GPU异构计算栈的研发与调优，从算子、内存、通信多维度挖掘硬件极限性能；通过CUDA编程、内核融合、混合精度训练、通信与计算重叠等高级优化技术，不断提升训练引擎效率。 2、推动自动化扩展、智能资源调度、跨架构设备兼容（NV GPU、GPGPU、XPU等）、AI系统可观测性等先进技术在公司模型训练平台落地； 3、跟踪并推动AI系统领域的最新技术趋势（如生成式推荐、AI编译优化、RDMA/NCCL通信计算并发等），持续保持平台业界领先优势。
1、负责搜广推业务系统和索引系统架构设计、核心模块开发与维护，支撑数十亿级商品库的高效检索； 2、优化在线服务的性能与稳定性，满足高并发场景下的低延迟、高吞吐等需求； 3、优化引擎的索引构建、检索性能、排序效率，持续提升系统吞吐能力和响应速度； 4、负责召回、粗排、精排、重排等全链路性能优化； 5、与算法团队协作，将排序模型、策略设计、产品需求等技术方案工程化落地； 6、深刻理解业务，抽象和设计合理的技术架构，以适应不断变化的需求。
1、负责小红书搜广推C端业务迭代，负责搭建搜广推业务平台，负责搜广推业务架构，提供系统解决方案，提升社区核心服务稳定性 2、负责攻克服务中高并发、高稳定性，业务模型复杂等带来的各种挑战及技术难关 3、能够基于领域架构以及微服务定义业务模型和服务等，识别当前架构中存在的问题，定义清晰的问题并推动社区架构升级，体系化地解决问题 4、针对多个产品广泛共用的能力进行抽象、开发及架构优化工作，产出高质量的技术方案和代码，不断优化多个产品广泛使用的底层能力和技术组件