快手音视频联合生成大模型算法工程师

1、负责可灵AI音视频联合生成大模型的关键算法研发和优化； 2、负责音视频数据的筛选，清洗和打标工作，为可灵AI音视频联合生成大模型提供数据支持； 3、负责跟进行业前沿技术发展趋势，跟踪国际最新技术发展方向； 4、推动音视频联合生成技术在可灵及快手各业务场景中的落地，探索新玩法和业务创新。

随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 多模态世界模型前沿技术研究项目，团队在多个方向上进行探索（具体如下罗列），若你对以下一个或者多个课题感兴趣均欢迎投递： 1. 世界模型，包括但不限于：长视频生成、多模态交互式世界模型、实时音视频生成、生成驱动的世界渲染引擎、3D/4D生成。 2. 原生多模态预训练，包括但不限于：融合语言与图像理解生成统一的多模态模型、音视频融合的生成模型、高效多模态预训练算法。 3. 人类反馈与强化学习，包括但不限于：基于规则的强化学习策略、高效 DPO 与 PPO 算法设计、基于用户反馈的RLHF视频生成质量提升。 4. 统一Tokenizer研究，包括但不限于：适用于图像、视频、音频等多种模态生成和理解的统一Tokenizer、提高多模态模型的泛化能力和效率。 5. 大模型训练/推理优化，包括但不限于：模型蒸馏、模型剪枝、attention计算近似等高效训练加速策略。

我们正在寻找对多模态大模型技术充满热情的研究工程师/科学家，加入我们的团队，共同探索前沿技术并推动其在实际场景中的应用。你将专注于文本、视觉、音频等多模态的联合建模与创新开发，致力于打造下一代人工智能解决方案。 核心职责： 1、多模态联合建模 -研究文本、视觉、音频的联合训练范式，在多模态融合中保持并提升文本推理能力。 -探索多模态框架下的跨模态对齐与交互机制，优化模型的表现与效率。 2、音频生成与理解 -开发高表现力情感对话生成技术，实现自然、流畅的语音合成效果。 -研究音频与音效的统一建模方法，支持多模态音频风格转换等创新任务。 -探索音频与视觉模态的深度理解，包括音频情感、背景环境信息的解析及音视频内容的联合理解。 3、音频表征学习 -研究音频表征的离散化编码方法，设计低帧率、高效率的语音与音频联合建模方案。 -探索更高效的音频特征提取与表示方式，为下游任务提供高质量输入。 4、多模态推理优化 -研究多模态大模型的深度推理能力，优化Chain-of-Thought（CoT）推理的耗时与性能。 -探索复杂推理任务的解决方案，提升模型在多模态场景下的逻辑推理与决策能力。 5、技术创新与落地 -持续跟踪学术前沿动态，结合实际需求提出创新性技术方案。 -推动研究成果的实际应用，参与从算法设计到产品落地的全流程。

T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目，继承“阿里星〞的使命与愿景，面向全球招募顶尖技术人才。首次开设实习生专项招聘，面向2025年10月后毕业的校优秀技术同学。期待你们在淘天，通过极具挑战的前沿课题与亿级规模的海量数据、应用场景，探索和实践最前沿的Al技术，在有价值的业务场景落地技术成果。 在这里，你将参与贡献大型电商场景下与音视频体验和成本相关的一系列研发工作；

 在这里，你将参与视频编码（包括但不限于HEVC/VVC）优化：通过基于信号处理和机器学习的快速编码决策、数据结构、并行框架设计，优化编码速度，同时在有竞争力的视频编码内核基础上，探索基于语义的内容感知编码优化，深度学习编码，AIGC编码等前沿课题，在保障画质体验的前提下，尽可能节省带宽；

 在这里，你将参与海量图像和视频的增强修复工作：运用前沿技术，包括但不限于模型结构优化、数据仿真和增强策略优化、知识蒸馏以及模型压缩，在限定带宽环境对任意失真的视频进行高效处理，力求最好的画质。同时，跟踪业界最新进展和技术趋势（包括AIGC）并融入特定的场景，提出创新方案，帮助平台提供逼近广电级别的视频画质；

 在这里，你将参与视频编码与处理联合优化：在标准编码框架的基础上，借助AI领域的新技术成果来研究视频信号的表征、编码与处理，将视频前后处理与编码联合优化，提升端到端压缩效果； 在这里，你将参与美颜等视频美化技术的研究工作，包括人脸检测、关键点、肤色美白、面部塑形、化妆效果模拟等。这些技术将应用于直播和短视频等多样化场景，并确保其在真实视频场景的有效整合。你还将专注于基于3D人脸建模和AI算法的智能美颜技术，推动这些技术的大规模落地； 在这里，你将参与UGC视频生产剪辑依赖的多类当下最前沿的图像视频生成与编辑，包括图像风格化，人像分割与实例分割，人脸属性，图像可控生成，图像视频化等，为视频剪辑提供更丰富的素材和更多的玩法；

 在这里，你将有机会参与最前沿的音视频质量评价算法工作，包括无参考的视频质量评价，人脸美学评价，音频质量评价，为多媒体算法的迭代和平台音画质的体验提供基础工具；
 在这里，你将帮助淘宝直播等大型的视频传输场景设计QoS算法，追求超低延时、极速播放等用户体验，并支持各种弱网环境下的最优的视频流畅度和优雅的画质降级。 T-Star实习可以带给你什么？ ꔷ ①加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper ꔷ 投递T-Star实习生，提前解锁淘天顶级技术岗位，实习与T-Star正式批/应届秋招投递不冲突。拿到T-Star意向书的同时，将获得直通正式批次终面的机会；参与T-Star实习且表现优秀的同学，提供T-Star转正Offer。