字节跳动视频处理和增强算法工程师-视频与边缘

1、支持画质增强相关算法研究和落地，包括超分辨率、HDR、插帧等； 2、支持编码前后处理相关算法研究和落地； 3、支持各类异构平台上算法的加速与优化，包括但不限于量化、蒸馏、剪枝等； 4、支持视频端到端全链路体验优化； 5、支持AIGC大模型在底层视觉、画质、压缩等多媒体方向的探索以及落地。

1、支持画质增强相关算法研究和落地，包括超分辨率、HDR、插帧等； 2、支持编码前后处理相关算法研究和落地； 3、支持各类异构平台上算法的加速与优化，包括但不限于量化、蒸馏、剪枝等； 4、支持视频端到端全链路体验优化； 5、支持AIGC大模型在底层视觉、画质、压缩等多媒体方向的探索以及落地。

团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节全系产品的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍：随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。 画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观。生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题。视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等。用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度。 1、支持研发基于大模型的多媒体算法，包括但是不限于视频理解，质量评价、视频处理和增强以及视频压缩； 2、支持多模态大模型相关算法的性能优化以及加速； 3、支持多模态大模型的算法在多媒体业务中落地，在图文、点播、直播等业务中发掘应用场景； 4、支持多模态大模型相关的前沿学术研究，在国际顶级会议与期刊中发表成果。

团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节全系产品的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍：随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。 画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观。生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题。视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等。用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度。 1、支持研发基于大模型的多媒体算法，包括但是不限于视频理解，质量评价、视频处理和增强以及视频压缩； 2、支持多模态大模型相关算法的性能优化以及加速； 3、支持多模态大模型的算法在多媒体业务中落地，在图文、点播、直播等业务中发掘应用场景； 4、支持多模态大模型相关的前沿学术研究，在国际会议与期刊中发表成果。