阿里巴巴算法工程师-电商AIGC视频与图像生成模型方向（T-Star Lab 日常实习生）

岗位课题： 1.电商视频生成模型研发 2.多个视频应用模型研发 3.原生支持中文的图像生成模型研发 4.有语义泛化性的图像编辑模型研发 课题背景： AIGC 生成已成为广告创意制作的主流制作形式，基于AIGC 图像和视频生成模型提供了丰富的素材并持续提升创意制作的美观度和多样性。同时视频和图像生成模型也是各科技公司在AI 领域争夺的中心领域之一。 阿里妈妈在过去两年从业务需求出发，持续研发电商领域的多模态生成模型，推出了淘宝星辰视频生成模型、图生视频模型、短视频模型、服饰模特生图模型、图文海报制作等多个原创能力，并成功落地万相营造、万相台无界版、千牛、光合平台、生意管家等多个工具平台和展示、搜索、外投等多个投放场景的创意制作。 岗位职责： 你将有机会参与核心多模态大模型研究工作，深入到数据准备 |  Caption | 训练系统搭建 |  Encoder | Pretraining | Continuous training |  SFT |  Post training  等多模态生成的方方面面， 亲手解决大模型研发的问题，并最终交付电商场景领先的生成模型，以及有机会提前获得校招T-Star的正式Offer。

团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 课题介绍： 背景：电商领域短视频内容正逐渐成为业务增长和用户体验优化的重要方向，通过多模态的视频理解与生成大模型创新解决电商场景中的核心挑战，例如短视频与电商商品的精准匹配、AIGC（AI生成内容）视频生成等，让用户在浏览短视频时获得更精准的商品匹配，并为内容创作者提供更便捷强大的创作工具。 研究方向：本课题聚焦于多模态视频理解与生成。构建高效的多模态嵌入模型，实现视频、图像、文本、商品等模态间的统一表示学习，以增强短视频与电商商品的关联性。通过大规模跨模态数据集的构建与优化，提升视频与商品的匹配精准度，使模型能够自动识别短视频中的商品或品牌，并精准映射至电商库，支持用户在观看时直接获取相关购买信息。此外，还将探索 AIGC（AI生成内容）短视频技术，包括商品图像+文本生成带货视频、智能剪辑与特效添加、虚拟试穿等，降低电商内容制作成本，提升营销效率。 1、负责对电商场景下的商品内容、视频内容进行理解和可控生成，赋能电商全链路场景，提供优质商品供给、内容供给、商家、达人供给等，建立商品履约视角的商品理解算法体系，为商品履约保驾护航，提升购物体验； 2、基于前沿的AIGC模型能力，帮助降低商家素材制作成本，提升平台优质供给（短视频、图文等），利用NLP、CV、多模态技术，增强对短视频内容、图文、商品理解能力，支持搜索、推荐、商城全导购链路，提升消费者在内容场和货架场购物体验； 3、挖掘电商垂直领域大规模、高质量Pretrain数据集，基于字节跳动通用大模型，研发电商行业大模型，探索电商交互式导购新场景； 4、跟踪AIGC/CV/NLP/多模态/LLM领域的最新研究和技术发展，负责算法模型迭代升级。

团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 课题介绍： 背景：电商领域短视频内容正逐渐成为业务增长和用户体验优化的重要方向，通过多模态的视频理解与生成大模型创新解决电商场景中的核心挑战，例如短视频与电商商品的精准匹配、AIGC（AI生成内容）视频生成等，让用户在浏览短视频时获得更精准的商品匹配，并为内容创作者提供更便捷强大的创作工具。 研究方向：本课题聚焦于多模态视频理解与生成。构建高效的多模态嵌入模型，实现视频、图像、文本、商品等模态间的统一表示学习，以增强短视频与电商商品的关联性。通过大规模跨模态数据集的构建与优化，提升视频与商品的匹配精准度，使模型能够自动识别短视频中的商品或品牌，并精准映射至电商库，支持用户在观看时直接获取相关购买信息。此外，还将探索 AIGC（AI生成内容）短视频技术，包括商品图像+文本生成带货视频、智能剪辑与特效添加、虚拟试穿等，降低电商内容制作成本，提升营销效率。 1、负责对电商场景下的商品内容、视频内容进行理解和可控生成，赋能电商全链路场景，提供优质商品供给、内容供给、商达供给等，建立商品履约视角的商品理解算法体系，为商品履约保驾护航，提升购物体验； 2、基于前沿的AIGC模型能力，帮助降低商家素材制作成本，提升平台优质供给（短视频、图文等），利用NLP、CV、多模态技术，增强对短视频内容、图文、商品理解能力，支持搜索、推荐、商城全导购链路，提升消费者在内容场和货架场购物体验； 3、挖掘电商垂直领域大规模、高质量Pretrain数据集，基于字节跳动通用大模型，研发电商行业大模型，探索电商交互式导购新场景； 4、跟踪AIGC/CV/NLP/多模态/LLM领域的最新研究和技术发展，负责算法模型迭代升级。

1、负责抖音电商短视频和直播间的多模态内容理解、内容挖掘及结构化标签，构建内容分层体系，探索计算机视觉和多模态前沿技术，负责算法模型迭代升级，优化兴趣电商购物体验； 2、利用NLP、CV、多模态技术增强对电商内容理解的能力，在内容冷启、推搜策略、商达成长、供给生态等多个业务方向，支持电商业务目标高速发展； 3、负责AIGC图片/视频生成技术在电商领域的落地，参与电商基础模型构建以及AIGC能力在电商的价值探索； 4、负责抖店AIGC工具研发，不限于背景替换、虚拟试衣、文/图生视频等相关内容，积极跟进业界进展，推动技术在业务落地。