美团视频内容理解-多模态算法项目实习生
任职要求
1. 在图像/视频理解算法、自然语言理解、多模态生成、强化学习、知识问答、大规模预训练模型等任一领域有深入算法经验。 2. 具有扎实的机器学习基础,对深度学习、大语言模型、多模态模型、生成式模型等内容理解与生成技术有深入的理解,数理功底扎实,自学能力强。 3. 良好的开发习惯,热爱技术,对前沿的算法有了解并积极尝试,熟悉常用的机器学习技术及常用深度学习框架。 4. …
工作职责
1. 负责基于多模态内容理解的应用能力建设以及技术沉淀,如图像/视频理解、内容审核以及多模态生成等,服务用户增长、营销、搜索、推荐等流量分发场景。 2. 参与多模态大模型前沿技术的探索及落地,尝试前沿的技术方案创新。
作为AI智慧观赛产品团队的核心算法成员,负责驱动体育赛事视频内容理解技术的研发与创新。目标是让系统精准、实时地识别赛事中的核心元素与关键事件,为AI智能解说、多维赛场智瞰等核心功能提供高质量底层数据支撑,最终打造业界领先的AI观赛体验。 1. 核心视觉模型研发:负责体育赛事视频理解核心模型的构建、训练与优化,重点研究实时目标检测与跟踪(球员、球、裁判、场地标识等)、行为动作识别(射门、传球、运球、击球等)、关键事件检测(进球、犯规、得分、暂停等)技术,确保赛事核心信息捕获的准确性与实时性。 2. 多场景适配与鲁棒性优化:针对足、篮、乒等不同赛事的运动特性、场地规则差异,以及光照变化、遮挡、快速运动模糊等复杂场景,优化模型的泛化能力与鲁棒性,保障跨赛事、跨场景的稳定识别效果。 3. 视频语义信息提取:设计并实现赛事结构化数据生成方案,从视频流中提取球员轨迹、攻防转换节奏、战术阵型变化等语义信息,将原始视频数据转化为可被大模型理解的结构化特征与事件标签。 4. 实时性与工程化落地:优化模型推理速度与资源占用,结合TensorRT等推理加速框架,实现视频理解算法的端到端高效部署,满足赛事直播
1. 负责超长视频内容的前沿算法研究、实现与优化,重点攻克高效的长视频处理机制,如关键帧选择、特征压缩和记忆机制。 2. 参与构建和清洗大规模多模态数据集,优化长视频理解在视频问答、内容摘要等任务上的准确率,优化视频场景下模型的推理能力。 3. 具备技术前瞻性与创新能力,跟踪国际最新技术动态,探索如多模态理解创新架构、音视频理解等新方向,并提出创新算法或方案,推动学术前沿发展。
1. 负责超长视频内容的前沿算法研究、实现与优化,重点攻克高效的长视频处理机制,如关键帧选择、特征压缩和记忆机制。 2. 参与构建和清洗大规模多模态数据集,优化长视频理解在视频问答、内容摘要等任务上的准确率,优化视频场景下模型的推理能力。 3. 具备技术前瞻性与创新能力,跟踪国际最新技术动态,探索如多模态理解创新架构、音视频理解等新方向,并提出创新算法或方案,推动学术前沿发展。