美团【LongCat大模型人才校招】大模型数据抓取算法专家
任职要求
1.熟悉Python和PyTorch等深度学习框架、具备扎实的操作系统、计算机网络、分布式系统、算法、数据结构、机器学习基础,对分类、排序等问题有一定理解。 2.有较强的工程实现和跨团队协作能力。 3.对网页质量识别、内容理解、信息抽取等方向有兴趣,有相关方向顶会论文、项目或实习经验优先。 【为什么是我们】 1.超大规模真实业务场景:面向海量、多源、动态变化的数据抓取与处理需求,能够在真实复杂业务环境中解决高并发、高稳定性、高可用性的工程问题,技术挑战足够…
工作职责
【AI愿景】 美团龙猫基座大模型,不只聪明,更懂生活。从语言理解到全模态感知,从架构创新到极致推理,从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”,更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化; 让一群智能体像团队一样分工协作、攻克复杂问题; 让 AI 走出屏幕,理解物理世界、走进真实场景。 这是我们正在冲刺的方向,也是你可以参与定义的未来。 加入我们,一起把智能带进真实物理世界,亲手打造下一代 AGI! 【团队介绍】 基座大模型AI Infra团队,以支撑前沿基础模型持续演进为目标,面向大模型研发与生产全链路,构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力,以及模型结构与芯片架构协同优化, 沉淀软硬一体、训推贯通的关键基础能力,提升模型迭代效率、训练资源利用率与系统上限。 【岗位职责】 负责面向LLM数据场景中海量数据抓取需求建设,构建文本、多模态等高质量数据获取能力。 1.面向海量多源数据场景,构建高可用、高稳定性的分布式数据调度与抓取系统,保障数据供给的及时性与完整性。 2.针对不同目标站点的技术防护手段,设计并实现动态友好爬取方案,持续提升抓取成功率与数据质量,保障采集链路在复杂对抗环境下的持续可用。 3.设计数据清洗、去重、校验、质量等保障机制,确保整体系统的效率,对数据缺失、异常、延迟等风险做到早发现、早恢复。 4.深入理解业务场景对数据的需求,协同算法、搜索、策略、数据平台等团队,将抓取能力与业务目标对齐,推动数据
【AI愿景】 美团龙猫基座大模型,不只聪明,更懂生活。从语言理解到全模态感知,从架构创新到极致推理,从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”,更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化; 让一群智能体像团队一样分工协作、攻克复杂问题; 让 AI 走出屏幕,理解物理世界、走进真实场景。 这是我们正在冲刺的方向,也是你可以参与定义的未来。 加入我们,一起把智能带进真实物理世界,亲手打造下一代 AGI! 【团队介绍】 基座大模型AI Infra团队,以支撑前沿基础模型持续演进为目标,面向大模型研发与生产全链路,构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力,以及模型结构与芯片架构协同优化, 沉淀软硬一体、训推贯通的关键基础能力,提升模型迭代效率、训练资源利用率与系统上限。 【为什么是我们】 1. 你的工作直接决定万亿大模型的效果天花板 —— 预训练数据质量是影响模型能力的最底层变量,这个方向持续重要且极富挑战,您在做"最核心的事”的同时,是在挖掘大金矿。 2. 超大规模数据工程实战 —— 万亿级网页、百亿级文档等您挖掘,您积累的系统设计和优化经验,具有极强的稀缺性与市场价值。 3. 学术与业务双驱动 —— 团队技术氛围浓厚,鼓励技术创新、突破以及成果转化;核心技术有机会在顶会发表,业务落地与学术产出双向驱动。 【岗位职责】 1.主导预训练数据全链路闭环建设,包括但不限于数据理解、数据处理、数据价值判定、多样性建设、数据实验以及评估方法和评估指标建设。 2.建立多维度预训练数据体系,包括质量、多样性、困惑度、有用性、复杂度等。 3.建立"数据-模型"的全链路归因分析能力,通过消融实验和量化分析,深度研究不同数据源及质量对模型下游任务能力的影响以及用更少的数据量达到更优的模型效果。 4.持续跟踪学界与业界在Data Selection、Data Pruning等方向的最新进展,并推动技术落地。
随着模型架构逐渐收敛、算力成本持续上升,高质量数据策略正在成为提升基座模型 scaling efficiency 和能力上限的核心杠杆。本方向聚焦大规模预训练数据的理解、筛选、配比、合成与系统化迭代,致力于建立数据分布、训练动态与模型能力之间的可解释映射,并将其转化为可预测、可干预、可扩展的数据策略和数据系统,持续提升模型的 token efficiency、scaling efficiency 与智能上限。 工作内容包括但不限于: 1.研究数据来源、质量、多样性、难度、覆盖度与模型能力之间的关系,建立“数据分布—训练动态—模型效果”的分析与归因框架。 2.探索面向预训练的数据价值建模方法,包括自动化质量评估、样本筛选、语义去重、污染检测、覆盖度建模、长序列数据组织与高价值 token 挖掘。 3.研究 Data Mixture、动态配比、课程学习和多阶段训练策略,分析不同类型数据在不同模型规模、训练阶段和能力维度上的边际收益,提升 token efficiency 与 scaling efficiency。 4.探索合成数据、蒸馏数据、模型自生成数据和反馈数据在预训练中的有效使用方式,研究合成数据的有效性、多样性保持、退化机制和训练配比策略。 5.构建可复现、可扩展的大规模数据处理与实验闭环,将数据构建、训练验证、能力评测、数据诊断和策略更新结合起来,形成面向基础模型持续迭代的数据飞轮。 6.研究并缓解预训练数据中的污染、偏差、重复、低质、隐私、安全和合规风险,提升数据策略的可靠性、可控性和可持续性。 【为什么是我们】 1.明确的技术判断:团队在原生多模态方向有非共识的长期投入,已发布 LongCat-Next 技术报告(离散自回归原生多模态),不是跟随式的能力补齐。 2.顶级资源支撑:5~6万卡计算集群,万亿参数文本基座已训练完成,多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。 3.主线与探索并行:既承担多模态基座的核心交付工作,也推进下一代原生多模态架构的前沿探索,覆盖"数据→tokenizer→预训练→后训练→RL"全链路。
你将加入 LongCat Agent 算法团队,与一线研究员共同推进下一代智能体的范式探索。具体方向包括但不限于: 1.Agentic RL 基础算法研究:探索面向长程多步任务的强化学习训练范式,包括稀疏奖励下的信用分配、过程奖励建模、自我博弈与多智能体协同、可扩展的 reward modeling,以及训练稳定性与样本效率优化。目标是实现Agent 能力增长的主引擎; 2.Search Agent 能力构建:研发面向开放域复杂查询的搜索智能体,覆盖多轮检索规划、查询改写、证据聚合、多源信息冲突消解与可信溯源。重点突破"深度研究"类长程任务(Deep Research)的端到端 RL 训练,让模型在数十步检索-推理交织中保持目标产出高质量分析内容。 3.生活服务助理 Agent:解决美团真实业务环境中(餐饮、出行、到店、履约等多业务横跨)实现智能助理的基础问题,研究多工具长链调用、澄清和主动服务、个性化记忆与偏好建模、跨会话状态管理,以及面向真实用户反馈的RL 闭环。这里的复杂度来自亿级用户、千万级 SKU 与多步骤决策构成的真实环境。 【为什么是我们】 1.稀缺场景:直接接触亿级真实用户、跨业务多步决策的复杂环境,是当前业界最稀缺的 Agent 训练土壤; 2.充足资源:充足算力、丰富多模态数据、专属带教导师、顶级 infra 团队支持; 3.研究自由:明确鼓励技术探索,有机会参与顶会论文产出,研究成果可服务亿级真实用户实现学术与产业双闭环; 4.成长路径:北京 / 上海双地 base,扁平协作、与算法/Infra/产品高密度共事,快速成长为下一代 Agent 技术骨干。
LongCat 正在探索下一代基础模型的自我改进范式:让模型不只完成单次问答,而是能够围绕真实模型研发任务,持续完成问题发现、假设生成、实验设计、代码实现、训练/评测执行、结果验证、经验沉淀和策略迭代。我们希望构建面向模型研发的自动化研究智能体系统,让 AI 参与并加速 AI 自身的训练、评测和能力进化。 1. 构建自动化研究智能体系统:提升模型在复杂任务分解、长程推理、研究规划、工具使用、代码生成与执行、证据整合和研究报告生成中的闭环能力。 2. 构建可交互、可验证的研究环境:围绕 search、browser、retrieval、code execution、training/eval job、sandbox 等工具,设计可执行、可评分、可回滚的实验闭环。 3. 设计模型自进化机制:沉淀 research episode、memory、skill和失败轨迹,设计数据配方、环境反馈和 reward 信号,反哺模型训练和评测体系。 4. 面向 LongCat 模型研发任务落地应用:在 pre-/mid-/post-training、coding agent、agentic workflow、模型评测诊断等场景中验证系统效果,推动能力持续迭代。 【为什么是我们】 1.参与 LongCat 下一代模型自进化系统建设,直接接触真实基础模型训练、后训练、评测诊断、Agent harness 和自动化研究闭环。 2. 团队具备大规模算力、数据、模型和真实复杂任务场景,适合希望在 AI Scientist、Agentic RL和模型自我改进方向做出原创突破的同学。3 . 团队人才密度高,在ICLR、NeurIPS、ICML、ACL等顶会发表论文50余篇,团队成员先后荣获EMNLP outstanding paper、吴文俊人工智能奖科技进步奖、CCF科技成果奖、北京市科技进步奖、北京市科技新星、北京市海英人才等荣誉激励;