阿里巴巴研究型实习生-视频理解与生成应用算法研究

1. 负责超长视频内容的前沿算法研究、实现与优化，重点攻克高效的长视频处理机制，如关键帧选择、特征压缩和记忆机制。 2. 参与构建和清洗大规模多模态数据集，优化长视频理解在视频问答、内容摘要等任务上的准确率，优化视频场景下模型的推理能力。 3. 具备技术前瞻性与创新能力，跟踪国际最新技术动态，探索如多模态理解创新架构、音视频理解等新方向，并提出创新算法或方案，推动学术前沿发展。

1. 负责超长视频内容的前沿算法研究、实现与优化，重点攻克高效的长视频处理机制，如关键帧选择、特征压缩和记忆机制。 2. 参与构建和清洗大规模多模态数据集，优化长视频理解在视频问答、内容摘要等任务上的准确率，优化视频场景下模型的推理能力。 3. 具备技术前瞻性与创新能力，跟踪国际最新技术动态，探索如多模态理解创新架构、音视频理解等新方向，并提出创新算法或方案，推动学术前沿发展。

当前视觉语言模型（VLM）以通用图片和视频理解为主，而人物往往是图片或视频的重要组成部分，因此对图片、视频中的人物进行精准、精细的理解非常重要。本项目重点围绕人物视频，对视频中人物的行为变化、人与人的互动行为、人与物的互动行为等使用文字的方式进行理解。

聚焦文生视频模型的推理与训练加速技术，探索、设计并实现全新的算法与系统级解决方案。解决当前文生视频模型面临的最大瓶颈：高昂的计算成本与漫长的生成时间。