美团多模态大模型分析算法专家
任职要求
1. 硕士及以上学历，计算机、数学、统计学或相关专业。 2. 熟悉Java/Python/C++等编程语言，良好的编码习惯和一定的工程能力 。 3. 具有视觉/语音算法的基础知识，熟练掌握多模态大模型相关算法和模型。 4. 良好的沟通能力、团队合作精神以及较强的问题解决能力。 5. 对每…
工作职责
主要负责多模态大模型（不限于视觉/语音专家模型与全模态融合模型）的模型能力分析，并且对训练数据、训练策略和模型能力之间的关系进行研究分析，产出可行的模型评测方案和训练策略，具体工作内容包括但不限于： 1. 追踪多模态大模型方向的前沿进展，积极学习新的模型结构、前沿模型认知，并进行深入分析。 2. 积极探索业界前沿的生成与理解多模大模型进展，深入理解模型结构与训练过程，设定合理的模型训练效果分析方法和评测方案。 3. 结合评测结果，对模型的训练数据、策略和结构等进行深入分析，指导评测方案迭代以及训练策略优化。 4. 与各相关部门保持良好沟通，深度参与多模态模型的训练过程，共同推动多模态大模型持续优化。
1、深入理解AI多模态大模型，支撑图像、音频、视频等模态的高质量训练语料构建；包括但不限于基础语料清洗、语料标签化、语料自动评价以及推理类语料合成。 2、构建基于多模态Agent的数据闭环系统，开发面向全模态的语料处理链路，提供稳定、可靠、高效的高质量数据处理能力与语料问题分析能力。 3、跟紧业界前沿大模型技术，复现优质语料合成算法与模型技术框架，支持数据消融与模型效果分析；保障语料交付的可持续性与先进性。
负责围绕AI大模型的模型评测与模型研究工作，具体工作内容包括但不限于： 1. 深入理解大规模语言模型的模型结构、训练过程以及评测方式，根据模型的训练过程以及评测结果，对大语言模型存在的问题进行研究。 2. 深入分析模型效果不符合认知的异常，根据具体的异常制定完善的研究策略，通过对比、归纳等方法，产出研究分析结论，探索突破性的优化方案，带来模型效果的迭代和突破。 3. 构建Data-Centric的数据-训练-评测闭环，探索研究包括但不限于下列方向：大模型数据、模型的Scaling Law，研究数据配比、加入方式与时机等对模型效果的影响。 4. 追踪大模型方向的前沿进展，积极主动地学习和探索新数据分析、模型训练以及模型评测方法。 5. 与各相关部门保持良好沟通，深度参与大模型预训练、SFT、RLHF和评测等阶段，共同推动大模型持续优化。
1、大规模多模态数据理解：负责海量多模态数据的打标分类、语义分割、检测、OCR文字识别、Caption生成等工作，提升数据的可用性与质量； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，并设计数据飞轮闭环，将用户交互数据反哺模型迭代； 3、制订长期规划：制定并实施大模型数据建设的长期发展规划，持续推动技术迭代与业务应用场景的拓展。
1、数据特征算法方案制定与效果优化：针对不同模态、多种类目的数据，设计自动化筛选方案；对多模态数据涉及的前沿特征算法（如物体跟踪、ID 重识别、音频分离）进行场景化效果优化。与算法工程师协作，制定数据调整与扩展策略，提升模型在真实场景中的生成能力； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，支持模型持续迭代； 3、数据分布分析：对模型训练数据分布进行详细分析，识别数据偏差、不均衡及潜在问题。提供可视化报告及改进建议，确保训练数据覆盖目标场景并满足多样性需求，最终通过数据驱动方法优化视频生成大模型效果。