美团多模态大模型评测分析实习生

多模态大模型能力在近年飞速发展，模态的统一、任务的统一、多种模态联合生成和实时交互带来了崭新的应用体验和生产力提升。在这个过程中，我们需要脚踏实地的同时仰望星空，发挥想象力预判新模型能力带来的应用场景革新，研究达到理想态的关键演进路径并进行度量分析，指引长期有潜力的模型迭代方向。方向包括但不限于 1.多模Agent方向：包括在多模态的工具调用和GUI/CUA，探索结合多模原生能力的OpenClaw展现出的生产力提升潜力，从基座模型能力角度分析其中的关键影响因素并进行自动化度量，指引基座模型的迭代； 2.多模态统一方向：包括全模态统一模型、音视频联合生成等，思考在模态统一、任务统一和多种模态联合生成过程带来新的能力跃迁并进行度量，分析模态和任务间的相互关联，指引模型架构、训练策略等选型； 3.多模交互方向：包括通用世界模型、音视频交互等，研究动态多轮交互中的一致性、真实性和长程记忆等关键能力的自动化度量，指引基座模型的迭代； 【为什么是我们】 一起建立行业评测标杆，推动行业认知进展，代表工作包括： 1.UNOBench 行业首个考察全模态协作能力，并得出全模态和单模态能力Compositional Law，指引1+1+1>3的全模态能力发展。 2.EvalTalker 行业首个多人、多姿态、全景覆盖的数字人评测基准，指引自研Longcat-Avatar模型稳居业界前沿。 3.UniHetero 行业首个验证生成能促进理解的unified model，以简洁的结构在大规模数据上得到更好的data-scaling。

主要负责多模态大模型在全模态（包括图像、视频、语音）的生成和理解、具身智能和GUI Agent等方向的模型能力分析和训练策略优化，并且对训练数据、训练策略和模型能力之间的关系进行研究分析，产出可行的模型评测方案和训练策略，具体工作内容包括但不限于： 1. 追踪多模态大模型的前沿进展，积极学习新的模型结构、前沿模型认知，并进行深入分析。 2. 在具身智能方向中，探索VLA的data-scaling方案，指引VLM的关键能力提升；探索视频生成基座以及统一模型的潜力，包括但不限于世界模型训练和效果度量；积极探索VLA/VLM同环境交互的学习方法，涉及仿真和真机实验，研究通过强化学习的下一代智能提升的关键途径。
 3. 在全模态统一生成理解方向中，研究达到理想态的关键演进路径并进行度量分析，指引长期有潜力的模型迭代方向。
 4. 与各相关部门保持良好沟通，深度参与多模态模型的训练过程，共同推动多模态大模型持续优化。

ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：抖音研发部门负责多款大型产品的研发，包括但不限于抖音、西瓜视频、汽水音乐。加入我们，你将有机会参与亿级用户场景的开发与架构工作，使用前沿的技术助力业务一起不断成长。 1、参与构建新一代多模态大模型评测体系，覆盖3D生成、动态3D（4D）、数字人、世界模型等AIGC方向，驱动模型效果持续优化与业务规模增长； 2、基于计算机视觉（CV）、音频理解、多模态大模型（MLLM）、多模态Agent、强化学习（RLVR）等技术，构建Score Model、Reward Model等自动化评测能力，将人类感知与偏好有效建模，并融入评测闭环，提升生成模型评估与优化效率； 3、参与构建行业领先的多模态评测体系，融合元评估等方法，持续迭代评测标准与数据集构建范式，提升评测结果的可靠性、细粒度与可解释性，系统刻画模型能力边界； 4、作为算法角色，与工程和质量团队协作，将评测能力落地到实际业务场景，支撑模型训练、调优与上线决策。

1.评测体系构建：通过紧跟先进模型及应用的前沿发展，设计全面、准确的多维度指标，建立覆盖多模态（语音/图/视频生成/编辑等）生成、多模态理解等全面、多维度的评测体系； 2.评测流程：熟悉大模型评测流程的实际执行与落地，协同多方相关团队高效完成评测工作，定期监控模型效果，分析问题并提供优化方案； 3.行业动态洞察：持续完善快速评测体系构建、快速反馈行业动态及模型能力，发现行业模型以及应用的前进方向、亮点； 4.结果归因：通过各种数据分析方法，深度分析模型评测结果，为大模型的更新调优提供精准的问题分析结论。