蚂蚁金服研究型实习生-AIGC图像/视频检测泛化性、鲁棒性、可解释性研究
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的…
工作职责
研究领域： 计算机视觉 项目简介： 随着图像/视频生成模型的快速发展，社交媒体圈传播着各种AIGC生成的图片/视频；随着AIGC图像/视频的现象级散播，其中涉及到侵权、风险传播以及负面的社会影响，随着监管的要求，平台发布的内容需要表明是否AIGC生成，因此AIGC检测能力必不可少。当前图像/视频AIGC技术依附于体系化数据集的构造，从数据驱动的角度进行检测能力的建设与升级，缺少对检测维度进行解耦，从不同的先验知识（例如光照、边界平整性、构图合理性、帧序列合理性等等）进行可解释性研究；考虑到当前MLLM模型在不同任务的驱动下，具备较强的理解能力，可以通过思维链式数据集构造或者思维链式交互方式，利用MLLM进行相关的泛化性、鲁棒性和可解释性研究
我们是阿里妈妈智能创作与AI应用团队， 长期从事利用CV NLP等多模态和多媒体技术进行内容创作、内容理解的算法工作，团队耕耘技术多年，在电商创意素材生成领域 有广泛的业界影响力，研发出阿里妈妈创意中心、万相实验室等产品以及阿里妈妈智能图片制作（Auto Poster）、阿里妈妈视频生成（AtomoVideo）等技术，研究成果发表在 CVPR、ICCV、AAAI、ACM MM、WWW、ACL 等学术顶会。 我们诚挚欢迎你加入团队，工作内容为下列之一： 1. 需要1年Diffusion Models扩散图像生成经验(强相关)。1年图像领域相关经验。 2. 需要在广告 或者 电商 场景的图像算法应用经验。 3. 需要在图像生成方向有顶会论文，CVPR，ECCV，NIPS，MM。
图像视频数据是城市最重要的要素之一，为了确保模型在真实城市场景的性能，需要巨大的投入收集、处理数据。同时，由于真实场景中存在的长尾效应，收集小样本数据的效率低下。随着大模型技术的发展，特别是AIGC的兴起，大规模具有非常强大的高质量多元化图像视频的能力。本项目希望研究如何利用大规模、多模态模型来帮助特定业务场景进行数据扩充，从数据的角度帮助解决城市大脑场景中的小样本学习问题。
1. 主导或参与图像/视频生成大模型的核心算法研发，聚焦扩散模型及VAE的前沿架构创新优化，完成大规模分布式训练、数据流水线构建及算法工程化部署； 2. 推动视觉生成技术在夸克多产品线的场景化落地，解决实际工程问题，实现从算法原型到工业级系统的端到端优化； 3. 开展前沿算法研究，探索多模态后训练、可控生成及推理加速等方向，保持算法的领先性。
1.跟踪和探索前沿生成式技术，包括但不限于多模态技术、大语言模型、可控图像生成、图像编辑、视频生成等。 2.研究和应用相关技术，帮助技术在实际业务（内容、广告、智能创作等）的落地。 3.具备一定的论文撰写能力和科研能力。