拼多多【商业化】大模型Infra架构工程师
任职要求
1、本科及以上学历，具有扎实的计算机基础，熟悉操作系统和网络，熟悉C++/Python编程，具有高性能系统开发经验 2、熟悉主流深度学习框架TensorFlow或PyTorch，熟悉至少一种模型推理框架如vLLM/TensorRT-LLM等 3、熟悉CPU/GPU架构和高性能计算技术，有CUDA/cutlass等开发优化经验，或…
工作职责
1、构建适合电商领域的大模型，提供高性能低成本的在离线解决方案，与算法工程师密切合作，持续提升大模型的能力 2、设计开发大模型训练系统，优化实现多种并行策略、算子优化、ZeRO技术、FlashAttention、量化技术、高性能Reduce通信库等，极致优化训练性能 3、设计开发大模型推理系统，应用PagedAttention、Batching优化、GPU算子优化、量化与压缩等技术，构建高吞吐、低延迟、支持数万QPS的在线服务 4、跟进最新的AI算法和infra的进展，并高效地将新技术落地应用到PDD电商的实际业务中，为消费者创造价值
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ DirectLLM是小红书内部面向各业务场景建设的大模型API服务产品，通过标准化API接口提供LLM/MLLM等大模型推理服务，致力于为AI应用开发者提供品类丰富、数量众多的模型选择，并通过API接口为其提供开箱即用、能力卓越、成本经济的模型服务，各领域模型的能力均可通过统一的API和SDK来实现被不同业务系统集成。 核心职责 1. 参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型MaaS服务； 2. 探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 3. 探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 4. 参与MaaS系统的国产卡适配与异构算力统一调度体系，如华为910C、阿里PPU、昆仑芯P800； 5. 参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
业务介绍 小红书智创技术团队负责用户发布工具、增长&商业化业务等多个公司重要业务场景里的创作能力的支持，技术范围广，技术栈深，利用大模型进行了全面的升级，因而对大模型的训练和推理Infra有较高需求。 工作职责 1. 负责端侧的AI算法的部署和工程化落地，提升端侧的智能化水平，并通过端侧推理架构的优化，提升用户的使用体验。 2. 负责服务端的Diffusion、LLM、VLM、Omini模型等先进算法的部署和极致性能优化，提升推理效率，降低成本。 3. 负责Diffusion、VLM等大模型算法训练的框架优化及效率提升，提高算法迭代训练效率，降低成本。 4. 打造具有业界一流水平的大模型推理技术能力，并通过开源共建等各类形式，形成在业界的广泛技术影响力
1、为抖音集团广告算法模型的流式训练、批式训练、生成式训练提供数据支持（用户行为序列/用户行为表征/候选标的表征）； 2、针对广告业务全链路的数据需求，从数据全生命周期视角设计并实现高性能、高可用、低延迟的数据生产/加工/存储/消费为一体的通用解决方案； 3、参与探索内容理解能力、复杂前沿模型在广告业务中的应用与架构平台化，构建并优化商业化商品解决方案； 4、负责建设数据平台与架构，针对不同类型的数据制定研发标准和规范，支持各类数据的探查和发现，支持海量业务需求，保障业务的可持续迭代。
团队介绍：团队负责抖音集团广告算法的架构服务，在这里你可以参与到召回、粗排、精排和广告检索服务的架构升级工作，涉及抖音、今日头条、番茄小说等各类业务场景，类型丰富，架构挑战大。 随着中国互联网广告的发展，客户对商业化产品技术能力有更高的期待，公司的营收需要有更稳定可靠、更可持续发展的增长引擎。基于商业化预估系统中长期存在和短期爆发的业务及架构问题，我们致力于交付一个长期可维护、开发更高效、AI友好智能的预估系统产品。加入我们，你不但可以在召粗精投放算法架构深耕，也可以在广告特有的检索业务定制存储上持续突破，也可以持续参与到模型推理架构的新技术突破。团队内有完善的导师机制，关注每个同学的持续成长。 1、负责抖音集团广告算法服务（召回/粗排/精排/创意与样式优选）的架构设计与实现，支撑亿级广告候选排序，优化模型分发速度，提升在线推理性能，完善产品化，改进策略迭代的安全性和效率，完善全链路策略治理能力； 2、负责建设抖音集团广告算法服务的深度学习能力（深度模型实时训练/深度模型在线推理/深度模型召回），探索业界前沿算法的工程落地并助力业务可持续增长； 3、负责商业化检索服务（存储类系统）的优化升级，支撑亿级过滤能力，优化分布式、在离线分离架构，提升索引构建效率和稳定性，提升广告主投广体验； 4、设计并实现高性能、高可用的排序策略框架以及平台化产品，承载高吞吐、低延迟、可靠易用的系统架构需求； 5、设计并实现广告投放系统的延迟、降级、算力分配的一体化平台与架构，保障广告系统的稳定性，在资源约束的状态下最大变现效率。