阿里巴巴研究型实习生-多模态医疗大模型算法工程师

医学影像（如CT、MRI、超声等）AI识别技术在疾病筛查、诊断和治疗过程中发挥着重要作用。达摩院医疗实验室癌症早筛、医学图像合成技术（AICG）、医疗多模态大模型、医学影像感知基础模型、影像报告生成、等领域已有多年积累，相关创新成果发表于Nature Medicine/TPAMI/IJCV/CVPR/ICCV/NeurIPS/ICLR/ICML等领域顶会顶刊。传统医学影像AI模型大多是在专门构建的小数据上训练专有小模型，受限于训练数据量和模型尺寸，此类模型通常泛化性较差无法满足真实世界的多中心需求。近几年大模型的兴起，特别是医疗垂域大模型的出现，为医学影像分析带来了新的机遇。我们期望通过研究医疗影像AI相关的基础模型技术（包括但不限于医疗影像生成大模型、感知基础模型、多模态大模型、大模型优化、Agent智能体等），解决有应用价值的临床问题。 我们期望你在实习工作中，解决如下算法问题，发表高质量的AI顶会或者临床期刊： （1）医学影像生成大模型：探索医疗影像生成基础大模型（医疗领域的SORA），探索医疗影像感知生成一体框架，探索医疗编辑统一模型，探索如何合成高质量医学影像数据等。 （2）医学影像感知基础模型：探索自监督和VLP等范式的大规模预训练方法（例如DinoV2/CLIP/MAE）及其临床应用，探索对多器官、多病种的感知和理解统一模型（例如Vista3d、MedSAM2、MedClip）等。 （3）医疗多模态大模型（MLLM）：探索如何融合不同医疗模态的影像和文本数据，探索医疗多模态大模型的临床应用，探索医疗影像报告生成、探索基于文本引导的grounding任务等。 （4）大模型训练推理加速技术：探索在保证模型性能的前提下提升生成模型的训练和推理效率，包括但不限于扩散模型、LLM、多模态大模型、Transformer和CNN网络架构的训练推理加速。 （5）医疗Agent智能体：探索医疗Agent系统的设计或者临床任务的应用，能够根据实际的诊断流程设计合理的Agent智能体。 （6）其他有价值的临床医学课题：基于高质量临床医学数据，分析其中临床问题针对性设计合适的AI算法，完成临床实验验证。

研究医疗图像分析领域技术攻关及技术创新，包括基于医学影像的计算机视觉基础算法研究，多模态大模型、病灶检测/追踪，医学影像生成，预后等前沿技术探究。负责算法原型实现、算法优化及测试等内容，同时发表相应的高质量技术或临床论文。

研究领域： 人工智能 项目简介： 随着远程医疗、居家康复、互联网医院等场景爆发式增长，医患之间“面对面”实时交互从“线下”迁移到“线上”。传统文字/图片问诊已无法满足听诊、视诊、康复指导、急救指挥等强实时、强感官的临床需求。 项目聚焦“听得到、看得见、看得懂、答得准”四大痛点，构建一套医疗级、低延时、可解释、可扩展的音视频多模态实时交互 Agent 框架。通过融合图像、视频、音频、文字、结构化数据等模态数据，实现接近真人医生视频对话的实时交互效果，提升用户体验，保障在AI诊疗任务中的识别效果。

1. 协助团队开展多模态大模型算法研发工作，参与语音/音频生成、理解等核心技术的研发与测试； 2. 辅助研发多模态内容理解模型，协助搭建高精度、细粒度的内容描述体系，完成基础数据标注与整理工作； 3. 参与训练数据集的搭建、清洗、整理与标注，助力模型迭代优化，配合完成数据集相关基础调研； 4. 协助推进多模态大模型在核心业务中的落地测试，参与技术实用化过程中的效果验证与问题反馈； 5. 跟踪多模态大模型、音频AI领域行业前沿技术，协助整理前沿技术资料，参与团队技术研讨与学习。