美团【北斗】基座大模型工程架构专家（训练/推理/异构算力）
任职要求
1.具备良好的计算机基础素养和分析解决问题的能力，熟练掌握C++或Python 2.学习能力强，对机器学习系统优化有技术热情，富有极客精神 3.熟悉PyTorch框架和TVM/MLIR等编译优化技术的优先 4.熟悉GPU、NPU硬件架构，熟练使用CUDA，NCCL，RDMA编程的优先 5.熟悉机器学习、深度学习算法，希望从事工程架构方向的优先 6.有分布式系统、高性能计算实际项目经验的优先 7.有开源项目贡献代码者优先 8.有在OSDI、MLSys、NIPS、KDD、ICML等会议或期刊中有论文发表者优先 岗位亮点： 1.业界前列的算力规模，海量数据和丰富的应用场景，挑战与机遇并存。 2.协同算法团队深度参与大模型项目，Codesign设计并训练行业领先的大模型。 3.从数据规模、集群体量、算法和业务复杂度多个维度提供了技术挑战和锻炼发展的机会，个人成长速度快。 4.追求卓越和鼓励创新的团队氛围。
工作职责
1.面向多种算力硬件和高性能网络设计分布式训练架构，包括样本IO优化、计算图编译与执行、多维度并行策略、多模型交互流程等，支持万亿参数模型在几万张GPU集群高效稳定训练，实现多种模态的基座和推理模型的高效稳定训练。 2.面向多种算力、网络环境和应用场景，设计并实现高性能的模型推理架构，应用量化、剪枝等模型压缩方法，持续降低推理成本。 3.通过手工优化方法,对特化模型子结构和硬件设备上实现SOTA性能，持续迭代基于编译的优化方案，提升通用优化的适用性、优化效果以及对新硬件的覆盖能力。 4.管理及优化全公司算法团队硬件资源，通过算法预估与启发式策略，对全公司万级别节点的大规模GPU/CPU集群构建精细化调度服务能力，持续提升资源使用效率。
模型推理是大模型应用的核心能力，是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索，通过软硬件协同设计和算法工程联合优化，降低大模型推理的应用成本，提高推理性能。 研究内容包括但不限于： 1.投机推理（Speculative Decoding），研究基于预测性执行的动态推理优化方法，参与设计低延迟推理框架，通过概率模型预生成候选序列以降低解码计算开销。 2.分布式系统优化，探索多节点协同推理中的通信-计算负载均衡策略，提出基于异构硬件的混合并行调度方案，实现吞吐量提升。 3.稀疏Transformer优化与模型压缩，通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。 4.算子优化，熟悉最新硬件架构的算子优化方法，通过更高效的算子优化模型的吞吐和延时。
1.面向高效训练和推理的模型架构设计，包括但不限于MoE架构和稀疏注意力机制，模型编辑和合并，模型压缩和推理加速方法等。 2.面向复杂的多模态推理交互场景，研究突破多模态推理强化、多模态奖励模型、test time scaling和全模态COT等，提升模型处理复杂多模态任务的能力和全模态交互水平。 3.探索多模态预训练新范式，包括多模态能力早期融合（Early-Fusion）、理解和生成的统一建模、研究多模态扩展定律（Scaling Law）指导数据和训练方案、扩展超长上下文机制支持全模态场景等，突破模态融合瓶颈，推动全模态能力跃迁。
研究方向一：图像生成大模型技术研究 1.负责下一代图像生成模型架构建设，包括但不限于AR-Diffusion、生成编辑统一架构构建； 2.负责生图专项能力升级，包括Reward model设计、多语言文字生成能力。 研究方向二：视频生成大模型技术研究 1.负责下一代视频生成模型架构建设，以及高效率、低精度损失、高压缩比的视频VAE和tokenizer建设； 2.负责视频生成下游功能拓展，包括多概念注入生成、交互式生成、长视频生成等。 研发方向三：视觉内容创作Agent 1.负责对话式创作助手核心能力攻坚，包括图像视频创作场景的CoT能力、交互式编辑能力提升。 2.负责图文海报、剧情化成片等典型应用场景的模型微调、Agent能力建设。 研究方向四：拟人化多模交互前沿路线研究 1.构建多模输入的人物视频生成模型，具备高度拟人化的面部驱动、人体动作生成。 2.构建基于多模态大模型的端到端交互模型，实现智能双工交互和人-物-场景的交互。
预训练 探索下一代大模型预训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型。 1.设计更高效的模型结构，提高给定数据量、计算量、参数量、序列长度等约束下的模型能力，如长序列能力、记忆能力、推理能力等； 2.探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索更适合大模型的optimizer等； 3.研究模型结构和数据的耦合关系；探索预训练与上下游环节的联合优化；改进分阶段训练范式； 4.结合MLsys解决大规模训练和推理中遇到的卡点问题，实现算法和工程联合设计。 原生多模态 1.负责面向真实世界数据（尤其是大规模视频序列、图文交错数据等）的原生多模态大模型的架构设计与预训练技术探索。攻坚多模态信息（视觉、语言、音频、触觉等）的深度融合、统一表征与跨模态生成。借助更大规模自监督学习范式，驱动模型学习多模态序列分布，致力于让模型从海量数据中学习世界运行的规律、物理交互知识与通用技能； 2.设计并优化适用于原生多模态架构的表征构建与学习方案，以增强模型对多模态Token的深层理解、采样与复杂推理能力。结合SFT/RL等后训练探索，激发模型采样多模token，解决物理世界问题能力； 3.负责将原生多模态大模型学到的丰富先验知识高效迁移并赋能具身智能体。主导或参与强化学习（RL）、模仿学习（IL）、规划与控制算法的设计与优化，显著提升智能体在模拟及真实机器人上的学习效率、任务成功率与自主决策能力； 4.负责设计并与工程团队紧密协作搭建高逼真度、可扩展的具身智能模拟环境，产出多样化、高质量的合成交互数据，为强化学习算法的训练、测试以及Sim-to-Real研究提供坚实的数据与环境基础。 智能体系统 1.研发端到端训练、能够自主处理问题、具备完整工具使用能力的智能体（Agent）系统，在Agentic Coding、DeepResearch等各类端到端任务上取得突破。 2.探索能够自主与环境交互，自适应学习并持续提升的智能体（Agent）系统，提升大模型解决现实问题的能力。