字节跳动视频处理和增强算法实习生-视频与边缘-筋斗云人才计划

任职要求

1、2026届及之后毕业，博士在读，人工智能、计算机、数学等相关专业优先；
2、精通常见的图像、视频处理算法，掌握常见视觉算法，如分类、检测、分割等；
3、具有扎实的编程功底，良好的设计能力和编程习惯；
4、熟悉Diffusion、LLM等大模型相关算法和技术，熟悉大模型…

工作职责

团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节全系产品的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。

课题介绍：随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。
画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观。生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题。视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等。用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度。

1、支持研发基于大模型的多媒体算法，包括但是不限于视频理解，质量评价、视频处理和增强以及视频压缩；
2、支持多模态大模型相关算法的性能优化以及加速；
3、支持多模态大模型的算法在多媒体业务中落地，在图文、点播、直播等业务中发掘应用场景；
4、支持多模态大模型相关的前沿学术研究，在国际顶级会议与期刊中发表成果。