字节跳动多模态视频理解与生成大模型算法工程师-电商业务-筋斗云人才计划（北京/上海/杭州/珠海）

团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 课题介绍： 背景：电商领域短视频内容正逐渐成为业务增长和用户体验优化的重要方向，通过多模态的视频理解与生成大模型创新解决电商场景中的核心挑战，例如短视频与电商商品的精准匹配、AIGC（AI生成内容）视频生成等，让用户在浏览短视频时获得更精准的商品匹配，并为内容创作者提供更便捷强大的创作工具。 研究方向：本课题聚焦于多模态视频理解与生成。构建高效的多模态嵌入模型，实现视频、图像、文本、商品等模态间的统一表示学习，以增强短视频与电商商品的关联性。通过大规模跨模态数据集的构建与优化，提升视频与商品的匹配精准度，使模型能够自动识别短视频中的商品或品牌，并精准映射至电商库，支持用户在观看时直接获取相关购买信息。此外，还将探索 AIGC（AI生成内容）短视频技术，包括商品图像+文本生成带货视频、智能剪辑与特效添加、虚拟试穿等，降低电商内容制作成本，提升营销效率。 1、负责对电商场景下的商品内容、视频内容进行理解和可控生成，赋能电商全链路场景，提供优质商品供给、内容供给、商家、达人供给等，建立商品履约视角的商品理解算法体系，为商品履约保驾护航，提升购物体验； 2、基于前沿的AIGC模型能力，帮助降低商家素材制作成本，提升平台优质供给（短视频、图文等），利用NLP、CV、多模态技术，增强对短视频内容、图文、商品理解能力，支持搜索、推荐、商城全导购链路，提升消费者在内容场和货架场购物体验； 3、挖掘电商垂直领域大规模、高质量Pretrain数据集，基于字节跳动通用大模型，研发电商行业大模型，探索电商交互式导购新场景； 4、跟踪AIGC/CV/NLP/多模态/LLM领域的最新研究和技术发展，负责算法模型迭代升级。

团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 课题介绍： 背景：电商领域短视频内容正逐渐成为业务增长和用户体验优化的重要方向，通过多模态的视频理解与生成大模型创新解决电商场景中的核心挑战，例如短视频与电商商品的精准匹配、AIGC（AI生成内容）视频生成等，让用户在浏览短视频时获得更精准的商品匹配，并为内容创作者提供更便捷强大的创作工具。 研究方向：本课题聚焦于多模态视频理解与生成。构建高效的多模态嵌入模型，实现视频、图像、文本、商品等模态间的统一表示学习，以增强短视频与电商商品的关联性。通过大规模跨模态数据集的构建与优化，提升视频与商品的匹配精准度，使模型能够自动识别短视频中的商品或品牌，并精准映射至电商库，支持用户在观看时直接获取相关购买信息。此外，还将探索 AIGC（AI生成内容）短视频技术，包括商品图像+文本生成带货视频、智能剪辑与特效添加、虚拟试穿等，降低电商内容制作成本，提升营销效率。 1、负责对电商场景下的商品内容、视频内容进行理解和可控生成，赋能电商全链路场景，提供优质商品供给、内容供给、商达供给等，建立商品履约视角的商品理解算法体系，为商品履约保驾护航，提升购物体验； 2、基于前沿的AIGC模型能力，帮助降低商家素材制作成本，提升平台优质供给（短视频、图文等），利用NLP、CV、多模态技术，增强对短视频内容、图文、商品理解能力，支持搜索、推荐、商城全导购链路，提升消费者在内容场和货架场购物体验； 3、挖掘电商垂直领域大规模、高质量Pretrain数据集，基于字节跳动通用大模型，研发电商行业大模型，探索电商交互式导购新场景； 4、跟踪AIGC/CV/NLP/多模态/LLM领域的最新研究和技术发展，负责算法模型迭代升级。

通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备跨语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从几百 M 到 T 级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 视觉语言理解能力是Qwen最重要的能力之一，围绕 LLM 建设出具有视觉深度理解与推理能力的基座模型是团队的必经之路。结合视觉理解和推理能力的基础模型，将拓展到视频理解，GUI Agent，以及VLA 和机器人等场景中。团队负责：1）多模态基础模型的研发，包括融合视觉语言的跨模态理解模型设计，提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing等核心能力，并优化多模态大模型AI infra；2）探索多模态Agent和推理能力，构建支持网络世界（PC/Mobile/Web/游戏）交互的通用智能体；3）研究生成与理解统一的模型架构，实现跨模态生成与推理的协同优化。 工作职责 1. 多模态Pre-training：开展研究及进行实验。研究内容包括：数据清洗与筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态Post-training：迭代Post-training训练策略（SFT/RLHF），专项能力数据迭代，参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用Agent：通过强化学习（RL）持续提升多模态模型推理能力和执行任务能力，打造多模态的Test Scaling Laws，并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成：构建视觉统一理解生成大模型，推进多模态统一生成与理解的推理和交互新范式。

1. 探索多模态理解与生成、语音/音乐生成、3D生成、视频生成、强化学习等前沿技术； 2. 利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，研发以人工智能技术为核心的新技术、新产品。