美团多模态大模型分析算法专家

1、深入理解AI多模态大模型，支撑图像、音频、视频等模态的高质量训练语料构建；包括但不限于基础语料清洗、语料标签化、语料自动评价以及推理类语料合成。 2、构建基于多模态Agent的数据闭环系统，开发面向全模态的语料处理链路，提供稳定、可靠、高效的高质量数据处理能力与语料问题分析能力。 3、跟紧业界前沿大模型技术，复现优质语料合成算法与模型技术框架，支持数据消融与模型效果分析；保障语料交付的可持续性与先进性。

负责面向真实业务场景的视频分析 Agent 算法研发，围绕实时视频理解与离线长视频复杂任务分析两大方向，构建具备感知、记忆、规划、推理与工具调用能力的多模态智能系统。 岗位职责 负责实时视频分析 Agent研发，融合 CV、VLM、Omni/多模态大模型等能力，服务于工业质检、巡检、SOP 合规、Streaming Video 交互等场景。 设计并优化面向视频流场景的长短期记忆机制、事件检测、异常告警与状态跟踪能力，提升实时性、稳定性与准确率。 负责通用/专用视觉模型在垂直场景中的微调、适配与性能优化，包括检测、识别、时序理解、多模态问答等任务。 负责离线长视频分析 Agent能力建设，提升模型在复杂任务中的自主拆解、规划、多步推理、细粒度分析与结果归因能力。 基于 SFT、RL/RLHF、DPO、Agentic RL 等后训练方法，提升大模型在Planning、Reasoning、Function Calling、RAG、数据洞察等方面的能力。 构建视频分析 Agent 的工具使用体系，支持如 crop_video、zoom-in、片段重采样、目标聚焦、证据回溯等能力，形成“观察—推理—行动—验证”闭环。 设计高质量训练数据与评测体系，持续提升长视频复杂任务上的准确率、鲁棒性、可解释性与泛化能力。 与产品、工程、业务团队协作，推动算法方案在真实场景中的落地与迭代。

负责围绕AI大模型的模型评测与模型研究工作，具体工作内容包括但不限于： 1. 深入理解大规模语言模型的模型结构、训练过程以及评测方式，根据模型的训练过程以及评测结果，对大语言模型存在的问题进行研究。 2. 深入分析模型效果不符合认知的异常，根据具体的异常制定完善的研究策略，通过对比、归纳等方法，产出研究分析结论，探索突破性的优化方案，带来模型效果的迭代和突破。 3. 构建Data-Centric的数据-训练-评测闭环，探索研究包括但不限于下列方向：大模型数据、模型的Scaling Law，研究数据配比、加入方式与时机等对模型效果的影响。 4. 追踪大模型方向的前沿进展，积极主动地学习和探索新数据分析、模型训练以及模型评测方法。 5. 与各相关部门保持良好沟通，深度参与大模型预训练、SFT、RLHF和评测等阶段，共同推动大模型持续优化。

1、大规模多模态数据理解：负责海量多模态数据的打标分类、语义分割、检测、OCR文字识别、Caption生成等工作，提升数据的可用性与质量； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，并设计数据飞轮闭环，将用户交互数据反哺模型迭代； 3、制订长期规划：制定并实施大模型数据建设的长期发展规划，持续推动技术迭代与业务应用场景的拓展。