阿里云研究型实习生 - 基于扩散模型的目标编辑算法和应用研究
任职要求
发表1到2篇CCF-A/B类高水平顶级会议或期刊论文，提出的更高质量的图像/视频相关产品，在阿里云机器学习平台PAI有产品化透出，并且取得相应的业务效果，沉淀相关算法和功能到，打造垂直应用领域的算法业界标准。
工作职责
近年来，"指定目标编辑"（Target Editing in Text-to-Image Generation）作为文图生成领域的一项前沿挑战，日益成为学术界与技术开发者关注的焦点。该挑战的核心在于探索如何精准依据文本指令，对图像的特定组成部分进行创造或修改操作，例如在既定场景中增添或移除元素，这不仅要求算法深刻理解复杂的自然语言指令，还必须具备在图像空间中进行精准定位与操作的能力。尽管当前的先进文图生成模型（诸如StableDiffusion、Midjourney、Dalle-3）在整体图像合成上展现了卓越性能，但在面对目标导向的精细编辑任务时，仍面临显著的技术局限性。如何有效生成并编辑出既逼真又能精确符合复杂文本描述特征的图像内容，构成了一个充满挑战且蕴藏广阔研究价值的课题。这里的“特定目标”概念广泛，涵盖了从特定个体的人脸复原到具有详细规格的商品设计，乃至含有特定情境特征的场景构造。该领域的探索不仅推动了算法在理解与执行高级语义指令上的能力边界，也为解决一系列基础科学问题提供了舞台，比如如何实现更广泛的编辑对象覆盖、优化控制参数以达到细腻的编辑效果、以及实现高效的目标定位与特征匹配等。这些技术瓶颈的突破，将为图像处理、人机交互、乃至创意设计行业带来颠覆性的进步。
研究领域： 隐私计算 项目简介： 1.项目背景 在人工智能技术快速发展的今天，UIAgent（用户界面智能代理）正成为下一代人机交互的核心入口。然而，如何获得或构建海量多模态数据（如行为轨迹、界面标注信息、系统动线日志等）是研究的关键。但如何在保障数据隐私合规的前提下，完成高质量的场景重建与语料建模，已成为制约技术落地的关键瓶颈。本课题聚焦这一核心矛盾，探索隐私保护与数据效用之间的最优平衡，为UIAgent提供安全、合规、可用的基础数据支撑。 2.研究目标 本项目旨在构建一套全流程隐私保护框架，解决以下核心问题： 多源异构数据脱敏：针对文本、图像、时序行为等多模态数据，设计可组合的隐私擦除策略； 场景语义保真重建：在去除个人身份信息（PII）的同时，保留用户行为模式与系统交互逻辑的语义完整性； 隐私-效用博弈建模：通过理论分析与实验验证，量化隐私预算与模型性能间的权衡关系。 3.核心亮点 生成式隐私增强技术：基于扩散模型/VAE生成合成数据，既还原真实场景分布又规避隐私泄露风险； 行为轨迹知识蒸馏：将原始轨迹中的高敏感操作（如输入内容）抽象为低维符号序列，保留系统动线拓扑结构； 极致数据压缩技术：UIAgent的核心目标是理解和预测用户的界面交互行为，而非复现像素级视觉细节，将探索最小必要数据的边缘。
欢迎加入阿里巴巴数字人团队！ 如果你对以下领域感兴趣，并希望在实际项目中积累经验，欢迎加入我们！ 你将参与的工作： 个性化数字人形象生成系统 在海量用户数据和先进技术支持下，协助开发能够生成千人千面个性化虚拟形象的系统。 学习并应用基础的图像处理和生成模型，帮助提升系统的定制化能力。 高表现力肢体表情驱动技术研发 参与研发基于动作捕捉、表情合成和实时渲染技术的数字人表情和肢体动作驱动系统。 协助优化现有技术，使数字人的表情和动作更加自然流畅，增强情感表达能力。 核心技术难题攻克 在导师指导下，学习和探索基于扩散模型的高质量数字人生成技术。 多模态统一大模型的应用 了解并参与多模态信息融合的研究，结合图像、文本、音频等多种信息，构建具备理解能力和生成能力的数字人系统。 协助解决业界尚未突破的技术瓶颈，推动技术创新。 相关研究课题细分方向： 数字人形象定制与风格化迁移 协助开发和优化数字人形象定制生成能力，适配不同的实时互动场景。 学习并应用基本的图像处理和生成算法，提升系统的灵活性和适应性。 数字人表情与肢体动作驱动 在导师指导下，参与数字人表情和肢体动作驱动技术的研发。 协助测试和优化现有系统，使其表现力更接近真人水平。 数字人多模态理解感知能力 参与构建数字人与用户的实时交互系统，提升其理解和响应能力。 协助进行多模态信息融合实验，增强数字人的个性化服务能力。 我们期待你是： 计算机科学、软件工程、人工智能等相关专业的在校学生（本科或研究生）。 对数字人技术有浓厚兴趣，愿意在实践中学习和成长。 具备一定的编程基础（如Python、C++），熟悉常用的数据处理和机器学习框架（如PyTorch、TensorFlow）者优先。 良好的团队合作精神和沟通能力。 加入我们，你将获得： 丰富的实战经验和前沿技术的学习机会。 导师一对一指导，助力你的职业发展。 参与影响亿级用户的大规模项目，感受技术带来的巨大价值。 开放包容的工作环境和充满活力的团队氛围。 让我们一起定义未来数字人的无限可能，期待你的加入！
基于开源的 Diffusion 图像和视频生成模型，构建基础推理和训练引擎，探索前沿的 AIGC 技术，具体职责包括： 1、加入魔搭社区 DiffSynth-Studio 等开源项目的开发，接入先进的图像和视频生成模型，为业界提供领先的推理和训练引擎基建。 2、基于丰富的开源模型生态，探索 AIGC 技术的全新能力，开展多元化的科研项目，包括但不限于图像生成的思维链、跨模态模型的能力集成、理解-生成统一架构模型等，发表高水平学术论文。 3、参与魔搭社区的运营活动，为新模型的开源提供技术支持，推动 AI 技术的普及推广。
1. 跟进和研发扩散模型、视频生成基座模型等先进生成算法和模型； 2. 跟进和研发视频生成应用大模型、多条件可控生成等先进的生成算法、模型和策略； 3. 研发基于视频生成大模型的视频AIGC工具应用； 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。