字节跳动基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术（上海）
任职要求
1、2027届毕业，获得博士学位，人工智能、计算机、数学等相关专业优先； 2、精通常见的图像、视频处理算法，掌握常见视觉算法，如分类、检测、分割等； 3、具有扎实的编程功底，良好的设计能力和编程习惯； 4、熟悉Diffusion、LLM等大模型相关算法和技术，熟悉大…
工作职责
团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍： 随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。 1、画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观； 2、生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题； 3、视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等； 4、用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度； 5、视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。 课题挑战： 基于多模态大模型的分析/理解/画质评估和增强面临如下挑战： 1、多模态长视频复杂时序关系建模； 2、少样本grounding-based理解画质评估模型； 3、可交互/用户偏好对齐的视频处理/增强模型。 视频智能编码及表达面临如下挑战： 1、如何实现压缩效率显著超越传统编码器； 2、如何满足可接受的复杂度及功耗要求； 3、如何保证跨平台编解码一致性； 4、如何高效压缩token等新兴智能信息； 5、如何有效表达语义信息。 课题价值： 基于多模态大模型的分析/理解/画质评估和增强的研究价值： 1、提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务； 2、降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。 视频智能编码及表达的研究价值： 1、传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率； 2、在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率； 3、高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值； 4、高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。
阿里国际数字商业集团-供应链物流&定价算法团队专门负责阿里巴巴海外零售商品定价的建设和优化工作，业务覆盖全球，支持了千亿级别的零售行业、以及数以千万计的商品。 我们支撑了阿里国际商业零售供的智能定价决策体系，我们的核心职责是通过商品定价、优化投资效率，提升平台的成交规模和损益。我们的工作涉及到国际商业数字零售定价问题的方方面面，充满了趣味和挑战。 在这里，你将和我们一起，采用大模型、强化学习、运筹优化算法、仿真分析等持续解决定价和投资中的现实问题，不断创造价值，重塑整个海外零售商业体系，为社会带来更加美好的生活！ 在这里，您将与优秀的算法团队紧密合作，共同解决商业活动中的定价和投资问题，不断创造价值。让我们携手共创海外商业数字供应链的未来！ 我们的具体工作内容如下：构建国际电商场景下的定价和投资AI Agent, 通过建设多模态的商品特征、商家以及用户行为的理解能力，商品定价策略生成能力以及长序列投资决策学习能力，实现平台整体损益和规模的长期优化。 1、商品、用户、商家多模态特征理解：以商品特征理解为例，利用多模态大模型同时处理商品图像（包装、材质、设计风格）和文本信息（品牌、功能描述、用户评论），学习能够反映定价相关属性的商品表示。研究如何从LLM输出中提取影响定价的关键特征，如品类归属、档次定位、功能复杂度、品牌溢价等。同时，研究如何从LLM的商品理解中抽象出可迁移的定价规律，包括同品类内的价格敏感度模式、不同档次商品的定价策略差异、可替代品之间的价格关联关系。设计知识迁移学习框架，将成熟品类的定价知识迁移到新品类或长尾商品； 2、商品定价策略生成能力：根据商品特征的理解自主制定价格策略，比如识别商品视觉特征（如包装颜色、尺寸展示、质感）对消费者价格预期的影响（例如，识别出"高端包装"应匹配更高价格锚点和更低折扣频率），并将其整合成商品的定价策略，同时需要满足平台对整体货盘的损益和规模要求； 3、长序列投资决策学习能力：根据对不同投资对象（商品、商家、用户），通过强学学习等方式学习历史决策结果，研究基于序列生成的未来定价/投资轨迹优化，实现对长期投资策略的提前规划和持续优化。
相关研究课题组分方向如下： 1. 多模态大模型强化学习训练及微调。 2. 多模态大模型电商垂域应用增强。 3. 电商AI内容生成引擎。 4. Multi-agent系统强化学习体系建设。
团队介绍：抖音Generative Recommendation 团队，通过对推荐模型的范式升级，带动整个推荐系统做整体重构，同时支持抖音短视频、直播等重要业务场景。我们的工作涉及大规模推荐算法的前沿探索、复杂约束的优化问题的解决、CV/NLP等多个学术领域的算法改进工作、面向工程约束下的最优算法设计和实现，以及对产品数据的复杂深入的分析工作。 课题介绍：本课题旨在探索基于多模态大模型的模态理解与表征、世界知识、推理等能力，并深度的与信息分发（推荐、搜索等）中的用户行为理解和建模结合起来，构建支撑下一代分发与交互技术的基础模型和系统范式。通过基础技术突破和探索，既尝试解决原有分发技术中对长尾兴趣分发、用户复杂意图理解、多模态与行为协同融合、System Bias、分发系统的算力与推理分配等一系列关键问题，也探索基于新的多模态大模型与用户对齐的理解，支持全新的可对话性需求满足、可自然交互性的分发调节与个性化等能力和产品形态上的突破。 课题挑战： 1、多模态大模型的完整流程的训练，以及与大规模用户行为深度理解和对齐； 2、突破多模态大模型与长序列高并发高效推理的瓶颈； 3、实现大模型泛化推理能力与复杂推荐业务目标的深度对齐。 课题价值： 1、打破信息茧房，提供个性化可解释推荐，提升长尾/冷启分发效率； 2、沉淀大模型Scaling Up范式，重塑大模型时代的下一代推荐系统； 3、探索全新的支持下一代交互场景的分发基础技术突破。
团队介绍：Data-抖音团队，负责抖音APP的推荐算法、AI大模型应用、内容算法、智能对话等算法工作，对接全链路各体裁（短视频，直播，图文）各业务（内容消费，UGC，打赏，社交，生态，投稿，消息，汽水音乐，精选，增长投放，评论，内容理解&安全、智能对话等）。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、内容理解、LLM技术技术研究、AI落地应用以及新业务方向探索、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。在这里，你可以深入钻研机器学习算法的改进和优化，探索工业界最领先的推荐系统架构和推荐大模型算法、可以通过使用最新的大模型等技术支持抖音的数字人、智能客服、AI工具等创新探索；可以通过对产品的深度理解和思考，将算法应用到业务中去；也可以通过对产品和内容生态的深度分析，影响产品未来的发展方向。 课题介绍： 本课题旨在探索基于多模态大模型的模态理解与表征、世界知识、推理等能力，并深度的与信息分发（推荐、搜索等）中的用户行为理解和建模结合起来，构建支撑下一代分发与交互技术的基础模型和系统范式。通过基础技术突破和探索，既尝试解决原有分发技术中对长尾兴趣分发、用户复杂意图理解、多模态与行为协同融合、System Bias、分发系统的算力与推理分配等一系列关键问题，也探索基于新的多模态大模型与用户对齐的理解，支持全新的可对话性需求满足、可自然交互性的分发调节与个性化等能力和产品形态上的突破。 课题挑战： 1、多模态大模型的完整流程的训练，以及与大规模用户行为深度理解和对齐； 2、突破多模态大模型与长序列高并发高效推理的瓶颈； 3、实现大模型泛化推理能力与复杂推荐业务目标的深度对齐。 课题价值： 1、打破信息茧房，提供个性化可解释推荐，提升长尾/冷启分发效率； 2、沉淀大模型Scaling Up范式，重塑大模型时代的下一代推荐系统； 3、探索全新的支持下一代交互场景的分发基础技术突破。