美团【LongCat大模型人才校招】多模态文档理解算法专家
任职要求
1.具备强烈的好奇心与自驱力，对AI数据体系建设与模型优化充满热情，能够从全局视角思考数据与模型的关系。 2.扎实的深度学习和机器学习基础，熟练掌握PyTorch等主流框架，有大模型（LLM/VLM）训练和微调的实战经验。 3.熟悉文档解析（Document…
工作职责
【AI愿景】 美团龙猫基座大模型，不只聪明，更懂生活。从语言理解到全模态感知，从架构创新到极致推理，从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”，更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化； 让一群智能体像团队一样分工协作、攻克复杂问题； 让 AI 走出屏幕，理解物理世界、走进真实场景。 这是我们正在冲刺的方向，也是你可以参与定义的未来。 加入我们，一起把智能带进真实物理世界，亲手打造下一代 AGI！ 【团队介绍】 基座大模型AI Infra团队，以支撑前沿基础模型持续演进为目标，面向大模型研发与生产全链路，构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力，以及模型结构与芯片架构协同优化， 沉淀软硬一体、训推贯通的关键基础能力，提升模型迭代效率、训练资源利用率与系统上限。 【为什么是我们】 1. 你的工作直接决定万亿大模型的效果天花板 —— 预训练数据质量是影响模型能力的最底层变量，这个方向持续重要且极富挑战，您在做"最核心的事”的同时，是在挖掘大金矿。 2. 超大规模数据工程实战打造业界领先的OCR能力 —— 百亿级文档等您挖掘，您积累的系统设计和优化经验，具有极强的稀缺性与市场价值；同时我们志向打造领先的开源OCR模型。 3. 学术与业务双驱动 —— 团队技术氛围浓厚，鼓励技术创新、突破以及成果转化；核心技术有机会在顶会发表，业务落地与学术产出双向驱动。 【岗位职责】 1.负责百亿级别海量文档数据的解析与处理，包括但不限于复杂版面检测、文档元素识别、长文档解析与结构化信息提取。 2.跟踪并研究多模态大模型与文档智能领域的最新前沿技术，研发业界领先的多模态文档解析大模型。 3.主导预训练长文数据全链路闭环建设，包括但不限于数据理解、数据处理、数据价值判定、多样性建设、数据实验以及长文学习研究等。
LongCat 是美团基础研发自主研发的大模型，覆盖语言、视觉、语音、具身全栈。LongCat 相继推出 LongCat-Flash、LongCat-Flash-Thinking、LongCat-Flash-Omni 等系列模型，正在构建多模态实时交互大模型。加入团队你将参与如下工作 1. 多模态实时表征探索，研究视频与语音的视觉表征、Audio 表征以及底层模型结构，构建支撑双工交互的感知底座，攻克实时性与表达力的平衡。 2. 全模态模型结构与训练策略，探索统一的模型架构与训练范式，使模型能够充分融合视觉、语音、文本的理解与生成能力，逼近全模态统一智能。 3. 实时交互核心算法，研发面向人机自然对话的打断、判停与时机决策机制，让模型在复杂声学与多说话人场景下做到自然不抢话、不漏话、在恰当时机主动发起交互。 4. 下一代交互范式探索，研究交互式思考 模型、流式工具调用等前沿能力，定义下一代多模态实时交互大模型的形态边界。 【为什么是我们】 1.全栈顶配算力支持，依托美团大规模算力集群，提供千卡至万卡级算力支持，具备成熟的分布式训练与低延迟推理优化栈，保障 世界动作模型与 VLA 大规模训练。 2.与优秀人才同行，你将与行业顶尖的大模型研究员及机器人领域专家并肩作战，共同攻克具身智能的技术难点。
探索下一代原生多模态基础模型：让模型不止于接入视觉能力，而是能够统一建模文本、图像、视频与交互过程，像理解文字一样理解视觉世界，并在真实物理场景中进行推理、生成和行动。我们将重点探索统一的多模态表征体系，包括离散视觉 token、连续视觉表征及其混合形式，使图像与视频能够被基础模型高效学习、组合和生成。 你将参与以下方向中的一个或多个： 1.研究多模态与文本模态的深度融合策略，包括 early fusion 架构设计、多模态 / 文本数据配比优化、多模态上下文建模等，实现视觉能力与语言能力的协同提升。 2.从互联网及业务场景中大规模挖掘、清洗和构建高质量多模态训练数据，覆盖图文交错、视频、网页、文档、GUI、代码和交互轨迹等数据形态，支撑模型在 browser use、复杂文档理解、vision-to-code 等生产力场景的能力突破。 3.设计兼顾理解、重建与生成的视觉表征体系，包括离散视觉 tokenizer、多尺度视觉 token、视频 tokenization 以及连续 / 离散混合表征；基于理解与生成统一的表征，规模化构建图文交错、视频序列等多模态自监督预训练数据，解锁新的多模态智能维度。 4.基于理解与生成统一的模型能力，探索长程、多轮的多模态生成与交互任务，通过端到端强化学习激发模型的自我评估和迭代修正能力；进一步探索未来帧预测、状态建模和交互轨迹学习在物理视觉世界中的推理、规划与行动能力。 【为什么是我们】 1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。 2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。
多模态大模型能力在近年飞速发展，模态的统一、任务的统一、多种模态联合生成和实时交互带来了崭新的应用体验和生产力提升。在这个过程中，我们需要脚踏实地的同时仰望星空，发挥想象力预判新模型能力带来的应用场景革新，研究达到理想态的关键演进路径并进行度量分析，指引长期有潜力的模型迭代方向。方向包括但不限于 1.多模Agent方向：包括在多模态的工具调用和GUI/CUA，探索结合多模原生能力的OpenClaw展现出的生产力提升潜力，从基座模型能力角度分析其中的关键影响因素并进行自动化度量，指引基座模型的迭代； 2.多模态统一方向：包括全模态统一模型、音视频联合生成等，思考在模态统一、任务统一和多种模态联合生成过程带来新的能力跃迁并进行度量，分析模态和任务间的相互关联，指引模型架构、训练策略等选型； 3.多模交互方向：包括通用世界模型、音视频交互等，研究动态多轮交互中的一致性、真实性和长程记忆等关键能力的自动化度量，指引基座模型的迭代； 【为什么是我们】 一起建立行业评测标杆，推动行业认知进展，代表工作包括： 1.UNOBench 行业首个考察全模态协作能力，并得出全模态和单模态能力Compositional Law，指引1+1+1>3的全模态能力发展。 2.EvalTalker 行业首个多人、多姿态、全景覆盖的数字人评测基准，指引自研Longcat-Avatar模型稳居业界前沿。 3.UniHetero 行业首个验证生成能促进理解的unified model，以简洁的结构在大规模数据上得到更好的data-scaling。
1.探索下一代大模型训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型设计更高效的模型结构，提高给定数据量、计算量、硬件资源、序列长度等约束下的模型能力和潜力，如长序列能力、记忆能力、推理能力等。 2.探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知。 3.探索更前沿的训练范式（如diffusion LLM，test-time scaling等具有潜力的技术），发现更高效和稳定的scaling路径。 4.研究模型结构和数据的耦合关系，优化分阶段训练范式。 5.研究模型早期表现和能力上限之间的关系。 6.结合MLsys解决大规模训练和推理中遇到的卡点问题，实现算法和工程联合设计。 【为什么是我们】 1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。 2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。