美团【北斗】大模型推理系统工程师
任职要求
【任职资格】 1.熟悉PyTorch等深度学习框架。 2.熟悉sglang、vLLM、trt-llm、FasterTransformer等开源框架。 3.能够熟练掌握Python、C++、CUDA等开发语言中的一种。 4.有比较强的数据结构、算法和统计分析、数学建模的能力。 【为…
工作职责
【愿景】 美团龙猫基座大模型，不只聪明，更懂生活。从语言理解到全模态感知，从架构创新到极致推理，从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”，更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化； 让一群智能体像团队一样分工协作、攻克复杂问题； 让 AI 走出屏幕，理解物理世界、走进真实场景。 这是我们正在冲刺的方向，也是你可以参与定义的未来。 加入我们，一起把智能带进真实物理世界，亲手打造下一代 AGI！ 【团队介绍】 基座大模型AI Infra团队，以支撑前沿基础模型持续演进为目标，面向大模型研发与生产全链路，构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力，以及模型结构与芯片架构协同优化， 沉淀软硬一体、训推贯通的关键基础能力，提升模型迭代效率、训练资源利用率与系统上限。 【你将负责】 模型推理是大模型应用的核心能力，是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索，通过软硬件协同设计和算法工程联合优化，降低大模型推理的应用成本，提高推理性能。研究内容包括但不限于： 1.投机推理（Speculative Decoding），研究基于预测性执行的动态推理优化方法，参与设计低延迟推理框架，通过概率模型预生成候选序列以降低解码计算开销。 2.分布式系统优化，探索多节点协同推理中的通信-计算负载均衡策略，提出基于异构硬件的混合并行调度方案，实现吞吐量提升。 3.稀疏Transformer优化与模型压缩，通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。 4.算子优化，熟悉最新硬件架构的算子优化方法，通过更高效的算子优化模型的吞吐和延时。
简介：打造 world class，production ready 的大模型推理引擎，可根据个人背景和研究兴趣选择以下方向之一深入推进： 1、异构硬件高性能推理算子研究与开发。 2、Model System Co -design，充分利用硬件特性。 3、Scale up & scale out 分布式推理系统设计，高效可靠的推理调度体系。 4、投机推理算法研究与落地。 5、模型/KVCache 量化算法研究与算子开发。
简介：Reasoning（推理）是大模型理解和处理信息的核心能力，是通用智能水平逼近的重要观测维度。本课题聚焦于探究生成式模型的高级推理发生机制，提升大模型在复杂任务上的推理表现。 研究内容包括但不限于： 1、复杂任务推理应用效果优化，诸如逻辑推理、数学推理、代码推理、跨模态推理、多模型决策等。 2、RL scaling，通过大规模强化学习持续提升模型推理能力。 3、Test time scaling，通过增加inference时消耗的算力持续提升模型推理能力。
【愿景】 我们致力于构建健康的本地商业生态，通过为平台客户和消费者提供符合其需求的多元、便捷、高效的商业产品和服务，帮助生态伙伴提高效率、优化经营、实现持续健康发展，推动本地商业数字化营销的发展，促进商业生态繁荣。 【你将参与】 1.生成式广告训练系统设计：基于前沿大模型（如Transformer、HSTU等），设计生成式推荐模型的分布式训练框架，优化数据/模型的高效并行处理和混合精度训练策略。 2.高性能推理引擎建设：既有大稀疏（Embedding），又有大稠密（LLM）的模型结构下，优化延迟、吞吐量和显存占用，支持千亿/万亿参数模型的实时推理需求。 3.低进度优化：基于结构化和非结构化模型进行低进度训推协同优化，从源头解决模型性能与精度的平衡难题。 4.广告链路端到端重塑：超长行为序列与超大候选Item情况下，优化传统的多阶段网络传输架构，需要一体化硬件支撑的召回/排序/机制统一服务。
【愿景】 面向美团AI搜索中的复杂业务场景，研究一套泛化增强方法，旨在解决多场景、多约束、多工具条件下模型泛化不足、调用不稳和新业务接入成本高等问题，提升模型在复杂业务搜索任务中的跨场景迁移能力、多约束执行能力、多工具调用稳定性。 【你将参与】 1.业务场景泛化：提升多业务场景下的任务适配与迁移能力。围绕外卖、到店、零售、酒旅等典型业务场景，研究统一任务建模与多场景联合训练方法，增强模型在不同业务场景、不同用户表达和不同任务类型下的适配能力与迁移能力，提高跨场景条件下的端到端任务完成效果。 2.复杂约束泛化与推理：提升复杂筛选条件下的理解与满足能力。围绕时间、地点、价格、人数、品类、优惠、排序偏好等核心筛选条件，研究复杂条件的识别、表示与执行方法，提升模型对多条件组合请求的理解能力、条件一致性处理能力和最终结果满足能力，增强复杂请求下的稳定执行效果。 3.垂域工具调用泛化：提升搜索工具调用的准确性与结果一致性。围绕工具选择、参数生成、调用校验和结果整合等关键环节，研究搜索工具调用优化方法，提升模型在真实业务链路中的工具调用准确率、完整调用成功率以及最终结果与调用结果的一致性，提高整体任务执行的稳定性和可用性。