字节跳动视频处理和增强算法实习生-视频与边缘-筋斗云人才计划

团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节全系产品的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍：随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。 画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观。生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题。视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等。用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度。 1、支持研发基于大模型的多媒体算法，包括但是不限于视频理解，质量评价、视频处理和增强以及视频压缩； 2、支持多模态大模型相关算法的性能优化以及加速； 3、支持多模态大模型的算法在多媒体业务中落地，在图文、点播、直播等业务中发掘应用场景； 4、支持多模态大模型相关的前沿学术研究，在国际顶级会议与期刊中发表成果。

团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节全系产品的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍：随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。 画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观。生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题。视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等。用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度。 1、支持研发基于大模型的多媒体算法，包括但是不限于视频理解，质量评价、视频处理和增强以及视频压缩； 2、支持多模态大模型相关算法的性能优化以及加速； 3、支持多模态大模型的算法在多媒体业务中落地，在图文、点播、直播等业务中发掘应用场景； 4、支持多模态大模型相关的前沿学术研究，在国际顶级会议与期刊中发表成果。

ByteIntern：面向2025届毕业生（2024年9月-2025年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：视频架构是字节跳动的视频中台部门，支持字节跳动旗下产品的点播、直播、实时通信、图片、多媒体业务发展，目标成为业界多媒体解决方案领先者，构建极致的视频技术/产品服务体验。 1、支持画质增强相关算法研究和落地，包括超分辨率、HDR、插帧等； 2、支持编码前后处理相关算法研究和落地； 3、支持各类异构平台上算法的加速与优化，包括但不限于量化、蒸馏、剪枝等； 4、支持视频端到端全链路体验优化； 5、支持AIGC大模型在底层视觉、画质、压缩等多媒体方向的探索以及落地。

T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目，继承“阿里星〞的使命与愿景，面向全球招募顶尖技术人才。首次开设实习生专项招聘，面向2025年10月后毕业的校优秀技术同学。期待你们在淘天，通过极具挑战的前沿课题与亿级规模的海量数据、应用场景，探索和实践最前沿的Al技术，在有价值的业务场景落地技术成果。 在这里，你将参与贡献大型电商场景下与音视频体验和成本相关的一系列研发工作；

 在这里，你将参与视频编码（包括但不限于HEVC/VVC）优化：通过基于信号处理和机器学习的快速编码决策、数据结构、并行框架设计，优化编码速度，同时在有竞争力的视频编码内核基础上，探索基于语义的内容感知编码优化，深度学习编码，AIGC编码等前沿课题，在保障画质体验的前提下，尽可能节省带宽；

 在这里，你将参与海量图像和视频的增强修复工作：运用前沿技术，包括但不限于模型结构优化、数据仿真和增强策略优化、知识蒸馏以及模型压缩，在限定带宽环境对任意失真的视频进行高效处理，力求最好的画质。同时，跟踪业界最新进展和技术趋势（包括AIGC）并融入特定的场景，提出创新方案，帮助平台提供逼近广电级别的视频画质；

 在这里，你将参与视频编码与处理联合优化：在标准编码框架的基础上，借助AI领域的新技术成果来研究视频信号的表征、编码与处理，将视频前后处理与编码联合优化，提升端到端压缩效果； 在这里，你将参与美颜等视频美化技术的研究工作，包括人脸检测、关键点、肤色美白、面部塑形、化妆效果模拟等。这些技术将应用于直播和短视频等多样化场景，并确保其在真实视频场景的有效整合。你还将专注于基于3D人脸建模和AI算法的智能美颜技术，推动这些技术的大规模落地； 在这里，你将参与UGC视频生产剪辑依赖的多类当下最前沿的图像视频生成与编辑，包括图像风格化，人像分割与实例分割，人脸属性，图像可控生成，图像视频化等，为视频剪辑提供更丰富的素材和更多的玩法；

 在这里，你将有机会参与最前沿的音视频质量评价算法工作，包括无参考的视频质量评价，人脸美学评价，音频质量评价，为多媒体算法的迭代和平台音画质的体验提供基础工具；
 在这里，你将帮助淘宝直播等大型的视频传输场景设计QoS算法，追求超低延时、极速播放等用户体验，并支持各种弱网环境下的最优的视频流畅度和优雅的画质降级。 T-Star实习可以带给你什么？ ꔷ ①加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper