夸克算法实习生-AIGC多模态生成大模型(研究型)
任职要求
1. 计算机科学、人工智能、机器学习或相关专业,硕士及以上学历优先; 2. 精通Python编程,熟悉Linux开发环境,具备PyTorch等框架的底层优化经验,能高效实现论文复现及模型改进; 加分项: 1. 在以下领域有系统性研究经验:扩散模型、视频生成模型、多模态对齐技术,熟悉HuggingFa…
工作职责
1. 主导或参与图像/视频生成大模型的核心算法研发,聚焦扩散模型及VAE的前沿架构创新优化,完成大规模分布式训练、数据流水线构建及算法工程化部署; 2. 推动视觉生成技术在夸克多产品线的场景化落地,解决实际工程问题,实现从算法原型到工业级系统的端到端优化; 3. 开展前沿算法研究,探索多模态后训练、可控生成及推理加速等方向,保持算法的领先性。
1. 负责面向视频超高清增强(如超分辨率)与视频修复(如老片修复、去噪、插帧等)的AIGC大模型算法研究与开发 2. 参与多模态大模型在视频理解与生成任务中的探索,包括但不限于时空一致性建模、可控视频生成等方向
1. 研发面向用户增长场景的多模态大模型,包括文本、音频、图像、视频等多模态数据的理解与生成; 2. 跟进并引入最新的多模态大模型研究成果,探索其在游戏行业的新应用场景; 3. 优化大模型的训练与推理性能,保障在海量游戏内容和用户数据上的高效运行。
团队介绍:Data-电商团队,负责电商创新项目的算法和大数据工作。依托于字节跳动产品,帮助用户发现并获得好物,享受美好生活。在这个团队,我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西,也要通过风控算法和智能平台治理算法去甄别违规行为,保护用户的购物体验;我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率;我们也要结合机器学习和运筹算法,来优化供应链和物流的效率和成本,并进一步提升用户体验;另外我们还会用人工智能来帮助商家提升经营能力。我们的使命:没有难卖的优价好物,让美好生活触手可得。 课题介绍: 背景:电商领域短视频内容正逐渐成为业务增长和用户体验优化的重要方向,通过多模态的视频理解与生成大模型创新解决电商场景中的核心挑战,例如短视频与电商商品的精准匹配、AIGC(AI生成内容)视频生成等,让用户在浏览短视频时获得更精准的商品匹配,并为内容创作者提供更便捷强大的创作工具。 研究方向:本课题聚焦于多模态视频理解与生成。构建高效的多模态嵌入模型,实现视频、图像、文本、商品等模态间的统一表示学习,以增强短视频与电商商品的关联性。通过大规模跨模态数据集的构建与优化,提升视频与商品的匹配精准度,使模型能够自动识别短视频中的商品或品牌,并精准映射至电商库,支持用户在观看时直接获取相关购买信息。此外,还将探索 AIGC(AI生成内容)短视频技术,包括商品图像+文本生成带货视频、智能剪辑与特效添加、虚拟试穿等,降低电商内容制作成本,提升营销效率。 1、负责对电商场景下的商品内容、视频内容进行理解和可控生成,赋能电商全链路场景,提供优质商品供给、内容供给、商达供给等,建立商品履约视角的商品理解算法体系,为商品履约保驾护航,提升购物体验; 2、基于前沿的AIGC模型能力,帮助降低商家素材制作成本,提升平台优质供给(短视频、图文等),利用NLP、CV、多模态技术,增强对短视频内容、图文、商品理解能力,支持搜索、推荐、商城全导购链路,提升消费者在内容场和货架场购物体验; 3、挖掘电商垂直领域大规模、高质量Pretrain数据集,基于字节跳动通用大模型,研发电商行业大模型,探索电商交互式导购新场景; 4、跟踪AIGC/CV/NLP/多模态/LLM领域的最新研究和技术发展,负责算法模型迭代升级。