阿里巴巴算法工程师-电商AIGC视频与图像生成模型方向（T-Star Lab 日常实习）

岗位课题： 1.电商视频生成模型研发 2.多个视频应用模型研发 3.原生支持中文的图像生成模型研发 4.有语义泛化性的图像编辑模型研发 课题背景： AIGC 生成已成为广告创意制作的主流制作形式，基于AIGC 图像和视频生成模型提供了丰富的素材并持续提升创意制作的美观度和多样性。同时视频和图像生成模型也是各科技公司在AI 领域争夺的中心领域之一。 阿里妈妈在过去两年从业务需求出发，持续研发电商领域的多模态生成模型，推出了淘宝星辰视频生成模型、图生视频模型、短视频模型、服饰模特生图模型、图文海报制作等多个原创能力，并成功落地万相营造、万相台无界版、千牛、光合平台、生意管家等多个工具平台和展示、搜索、外投等多个投放场景的创意制作。 岗位职责： 你将有机会参与核心多模态大模型研究工作，深入到数据准备 |  Caption | 训练系统搭建 |  Encoder | Pretraining | Continuous training |  SFT |  Post training  等多模态生成的方方面面， 亲手解决大模型研发的问题，并最终交付电商场景领先的生成模型，以及有机会提前获得校招T-Star的正式Offer。

1、负责抖音电商短视频和直播间的多模态内容理解、内容挖掘及结构化标签，构建内容分层体系，探索计算机视觉和多模态前沿技术，负责算法模型迭代升级，优化兴趣电商购物体验； 2、利用NLP、CV、多模态技术增强对电商内容理解的能力，在内容冷启、推搜策略、商达成长、供给生态等多个业务方向，支持电商业务目标高速发展； 3、负责AIGC图片/视频生成技术在电商领域的落地，参与电商基础模型构建以及AIGC能力在电商的价值探索； 4、负责抖店AIGC工具研发，不限于背景替换、虚拟试衣、文/图生视频等相关内容，积极跟进业界进展，推动技术在业务落地。

1、参与电商多模态大模型（MLLMs）的持续预训练和指令微调（SFT），开发精准的商品图谱、用户意图理解、跨模态检索等核心能力，赋能搜索、推荐等业务； 2、负责多模态生成算法（如Diffusion Models, VAEs等）的研发与创新，致力于解决生成内容的质量、多样性、可控性、可编辑性及采样效率等前沿问题； 3、基于大模型构建文本/图像/视频多模态创作引擎，并推动其在电商业务场景的产品化落地，包括但不限于背景替换、虚拟试衣、图生视频、海报生成等创新应用； 4、通过DPO/PPO等强化学习算法，迭代Reward Model以指导多模态素材生成，引导模型生成更符合人类偏好、审美标准及业务目标的多模态内容，最终提升用户体验和商品转化率。

1、负责广告、电商、短视频、直播等相关内容理解，包括图片、文本、视频、音频等； 2、负责数据挖掘与特征工程，构建机器学习模型，构建商业化生态； 3、面对千万量级业务/受限资源等场景，优化模型计算效率，提升模型可用性； 4、依托海量业务数据，探索并落地各种前沿技术（如预训练、自监督学习、小样本学习等）； 5、探索AIGC前沿技术，构建新一代基于AIGC的商业化生态。