阿里巴巴研究型实习生-多模态生成模型训练推理优化

1、理解-生成融合范式： 研究理解模型和生成模型的有效融合范式，例如探索Diffusion-Transformer (DiT) 和 Auto-Regressive (AR) 模型的融合与交互方式。 2、融合音频数据的统一模型： 将音频数据融入现有的多模态理解和生成框架，构建更全面的多模态统一模型。 3、统一Tokenizer研究： 探索适用于图像、视频、音频等多种模态生成和理解的统一Tokenizer，提高模型的泛化能力和效率。

1. 参与图像生成、图像编辑和文档理解其中一个方向的工作，围绕效果和速度，通过算法创新持续提升业务天花板； 2. 围绕扩散模型、生成加速、融合模型等方向，不断探索前沿算法，保持方案领先性，助力业务取得效果突破； 3. 围绕数据构建、vae、dit、moe、训练策略等环节，挖掘突破口，持续改进提升。

1. 主导或参与图像/视频生成大模型的核心算法研发，聚焦扩散模型及VAE的前沿架构创新优化，完成大规模分布式训练、数据流水线构建及算法工程化部署； 2. 推动视觉生成技术在夸克多产品线的场景化落地，解决实际工程问题，实现从算法原型到工业级系统的端到端优化； 3. 开展前沿算法研究，探索多模态后训练、可控生成及推理加速等方向，保持算法的领先性。

医学影像（如CT、MRI、超声等）AI识别技术在疾病筛查、诊断和治疗过程中发挥着重要作用。达摩院医疗实验室癌症早筛、医学图像合成技术（AICG）、医疗多模态大模型、医学影像感知基础模型、影像报告生成、等领域已有多年积累，相关创新成果发表于Nature Medicine/TPAMI/IJCV/CVPR/ICCV/NeurIPS/ICLR/ICML等领域顶会顶刊。传统医学影像AI模型大多是在专门构建的小数据上训练专有小模型，受限于训练数据量和模型尺寸，此类模型通常泛化性较差无法满足真实世界的多中心需求。近几年大模型的兴起，特别是医疗垂域大模型的出现，为医学影像分析带来了新的机遇。我们期望通过研究医疗影像AI相关的基础模型技术（包括但不限于医疗影像生成大模型、感知基础模型、多模态大模型、大模型优化、Agent智能体等），解决有应用价值的临床问题。 我们期望你在实习工作中，解决如下算法问题，发表高质量的AI顶会或者临床期刊： （1）医学影像生成大模型：探索医疗影像生成基础大模型（医疗领域的SORA），探索医疗影像感知生成一体框架，探索医疗编辑统一模型，探索如何合成高质量医学影像数据等。 （2）医学影像感知基础模型：探索自监督和VLP等范式的大规模预训练方法（例如DinoV2/CLIP/MAE）及其临床应用，探索对多器官、多病种的感知和理解统一模型（例如Vista3d、MedSAM2、MedClip）等。 （3）医疗多模态大模型（MLLM）：探索如何融合不同医疗模态的影像和文本数据，探索医疗多模态大模型的临床应用，探索医疗影像报告生成、探索基于文本引导的grounding任务等。 （4）大模型训练推理加速技术：探索在保证模型性能的前提下提升生成模型的训练和推理效率，包括但不限于扩散模型、LLM、多模态大模型、Transformer和CNN网络架构的训练推理加速。 （5）医疗Agent智能体：探索医疗Agent系统的设计或者临床任务的应用，能够根据实际的诊断流程设计合理的Agent智能体。 （6）其他有价值的临床医学课题：基于高质量临床医学数据，分析其中临床问题针对性设计合适的AI算法，完成临床实验验证。