美团【北斗】基座大模型推理引擎工程师
任职要求
1.熟悉PyTorch等深度学习框架。 2.熟悉sglang、vLLM、trt-llm、FasterTransformer等开源框架。 3.能够熟练掌握Python、C++、CUDA等开发语言中的一种。 4.有比较强的数据结构、算法和统计分析、数学建模的能力。 岗位亮点 1.大模型推理的前沿研究，从推理加速算法到推理框架、硬件感知的算子优化等方面，算法、软件、硬件协同设计的工作模式，对个人的能力提升大。 2.研究和应用相辅相成，内部大量应用场景，研究工作不缺乏落地机会。 3.团队人员工程、算法实力都比较强，能够获得非常好的成长环境。
工作职责
模型推理是大模型应用的核心能力，是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索，通过软硬件协同设计和算法工程联合优化，降低大模型推理的应用成本，提高推理性能。 研究内容包括但不限于： 1.投机推理（Speculative Decoding），研究基于预测性执行的动态推理优化方法，参与设计低延迟推理框架，通过概率模型预生成候选序列以降低解码计算开销。 2.分布式系统优化，探索多节点协同推理中的通信-计算负载均衡策略，提出基于异构硬件的混合并行调度方案，实现吞吐量提升。 3.稀疏Transformer优化与模型压缩，通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。 4.算子优化，熟悉最新硬件架构的算子优化方法，通过更高效的算子优化模型的吞吐和延时。
1.面向多种算力硬件和高性能网络设计分布式训练架构，包括样本IO优化、计算图编译与执行、多维度并行策略、多模型交互流程等，支持万亿参数模型在几万张GPU集群高效稳定训练，实现多种模态的基座和推理模型的高效稳定训练。 2.面向多种算力、网络环境和应用场景，设计并实现高性能的模型推理架构，应用量化、剪枝等模型压缩方法，持续降低推理成本。 3.通过手工优化方法,对特化模型子结构和硬件设备上实现SOTA性能，持续迭代基于编译的优化方案，提升通用优化的适用性、优化效果以及对新硬件的覆盖能力。 4.管理及优化全公司算法团队硬件资源，通过算法预估与启发式策略，对全公司万级别节点的大规模GPU/CPU集群构建精细化调度服务能力，持续提升资源使用效率。
数据与训练方向： 1.大模型数据体系建设：构建多语言和多模态的数据处理流程和实验链路，优化数据的筛选与配比策略，探索动态数据调整、多阶段训练和课程学习等方法提升数据质量和多样性，优化大模型的训练效果。 2.合成数据探索：探索大规模合成数据方法，应用于复杂任务、推理、代码和多模态等场景。制定合成数据在预训练、强化学习等不同训练阶段的应用策略，并深入研究数据扩展规模定律、数据多样性和模型坍塌等基础问题，推动数据驱动的性能突破。 3.多模态学习与推理：探索多模态预训练的新范式，突破模态融合瓶颈。具体包括实现多模态能力的早期融合、理解与生成的统一建模，研究多模态扩展定律以指导数据与训练方案，扩展超长上下文机制以支持全模态场景等。同时，面向复杂的多模态推理与交互场景，探索多模态强化学习、多模态奖励模型、推理阶段扩展（test-time scaling）以及全模态链式思维（CoT）等方法，提升模型处理复杂任务和全模态交互的能力。 4.高效模型架构设计：设计高效的大模型架构以提升训练和推理效率。探索 MoE（混合专家）、稀疏注意力、线性注意力等高效模型结构，以及模型编辑与合并等技术，研发能够显著提升推理速度和资源利用率的新型模型架构。 5.推理效率与性能优化：推动算法与系统的协同优化，实现模型性能与效率的最大化平衡。基于对硬件计算潜力的深度挖掘，开发高效的模型推理方案和算法，包括模型压缩、剪枝、量化、稀疏化等，降低模型应用部署成本。 后训练方向： 1.后训练数据与流程建设，从指令数据生产、合成、进化、配比等方面提升数据质量，优化指令微调、强化学习、奖励模型等训练pipeline，提升模型综合能力； 2.后训练关键能力建设，包括但不限于优化模型创意生成、多语言、逻辑推理、复杂指令遵循、代码生成、工具调用等能力，提升模型可控性和安全性，拓展模型能力边界； 3.面向准确性、多模信息、最优路径等方向，探索奖励模型的新范式，构建统一模型学习环境，实现模型的价值对齐和能力对齐； 4.面向推理规划能力、多智能体系统、模型自进化等方向，探索下一代强化学习算法，持续提升大模型的智能水平和在真实复杂场景效果； 5.前沿探索：动态推理计算优化（Test-time Compute Optimization）、多智能体协同进化架构 、大规模强化学习系统优化等。
通用Agent方向： 1.探索模型通过 RL Scaling 等方式使用成套工具解决复杂问题的行动和规划能力，包括 Human in the Loop 多轮交互下 Agent 基础建模的新方案、以及与复杂环境的交互学习能力； 2.探索模型在 Non-Rule Based Outcome 场景下利用复杂信息进行有效推理的范式，包括 Proactive Agent 的建模方案； 3.探索研究更多内在奖励的机制，从而激发模型主动学习和自我更新的能力； 4.探索构建长期记忆机制，为下一代高效的推理模型、长序列推理及建模提供基础。 搜索Agent方向： 1.参与通用AI搜索中Agent的框架建设和算法优化，并能在实际业务场景进行落地； 2.探索指令微调、偏好对齐（RLHF/DPO）和LLM Reasoning（如思维链、多步推理）在AI搜索场景的应用，特别是提升复杂搜索能力（如Deep Research）； 3.构建端到端Agent优化系统，将意图识别、推理规划、工具调用、信息检索和结果生成等步骤联合优化，探索大模型AI搜索Agent的智能上限； 4.研究AI搜索Agent的自动评测标准和方法，构建公平、合理并且全面的评测系统加速Agent迭代； 5.跟踪大模型和搜索最前沿的技术，包括但不限于多模态、Scaling Law、训练范式探索、长文本优化、高效训推框架探索。 安全方向： 1.负责LLM、VLM通用大模型与垂类大模型的内容安全研发，提升模型识别风险、规避风险、处置风险的能力。 2.负责通过定性、定量方法评估策略表现，进行策略迭代更新，不断提升内容安全效果。 3.深度参与大模型、安全、算法等领域的调研，结合通用模型的新技术、新场景，如LongCoT、Agent、GUI，积极探索相应新技术、新场景上，安全方案的创新和落地。
1.面向高效训练和推理的模型架构设计，包括但不限于MoE架构和稀疏注意力机制，模型编辑和合并，模型压缩和推理加速方法等。 2.面向复杂的多模态推理交互场景，研究突破多模态推理强化、多模态奖励模型、test time scaling和全模态COT等，提升模型处理复杂多模态任务的能力和全模态交互水平。 3.探索多模态预训练新范式，包括多模态能力早期融合（Early-Fusion）、理解和生成的统一建模、研究多模态扩展定律（Scaling Law）指导数据和训练方案、扩展超长上下文机制支持全模态场景等，突破模态融合瓶颈，推动全模态能力跃迁。