蚂蚁金服研究型实习生-医疗报告解读场景下多模态大模型多条件异常抽取和推理研究
任职要求
岗位要求： - 目前正在攻读计算机科学或相关STEM领域的博士学位。 - 熟悉机器学习、NLP、CV、语音等技术方向，了解大模型最新进展。 - 有高水平论文发表。 加分项： - 对技术研究充满热情，具有产生新思想和创新的能力。在自学、问题分析和解决方面表现出色。 - 有医学方面的背景或经验。 - 有语言大模型和多模态大模型训练、SFT和RL方面的经验。 - 至少3个月的全职工作。
工作职责
研究领域： 人工智能 项目简介： 随着多模态大模型展现出强大通用能力，医疗领域迎来了前所未有的变革机遇。医疗报告解读作为医疗诊断和治疗的重要环节，目前业内多家科技公司均具备相应解读能力。本项目旨在结合医疗多模态大模型及多条件异常指标解读和推理能力，进一步提升报告解读的准确性，达到专业临床医生的水准，给用户提供更加精准、全面的医疗报告解读服务。
研究领域： 深度学习 项目简介： 专病/慢性病（慢病）的管理是一个长期、复杂且费用高昂的过程，涉及到疾病的筛查、诊断和治疗管理。2024年9月央视网数据，我国慢性病发病率呈上升趋势，中国慢性病确诊人数为4亿。每年各种因素导致的近1030万死亡中，慢性病占比超80%。慢病管理的核心在于实现全生命周期、全病程的规范化、主动式管理。这通常包括患者入组、疾病评估、治疗方案制定、长期跟踪和随访等环节。例如，上海交通大学团队研发的全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统DeepDR-LLM，能够基于患者个体的临床信息生成精准糖尿病管理意见。
研究领域： 人工智能 项目简介： 在医疗领域，基于大模型的医学诊疗规划和决策一直面临着医学推理能力弱（医学事实性不足）、依据不足（可信性不足）、精准个性化不够（指导性不足，存在过度医疗的伦理风险）等问题。我们旨在结合先进的大推理模型、海量的医疗数据和专业医学专家的知识，依次完成以下研究和落地： 1. 研究大模型推理理论，建设一批高水平专家 AI 诊断推理智能体。 2. 研究复杂多智能体交互协同框架。 3. 落地面向下一代的自我进化的精准诊疗规划和可信医疗决策系统。
研究领域： 推荐系统 项目简介： 当前医疗信息搜索推荐服务面临三大核心挑战：1）搜索结果与用户真实需求匹配度低（准确性不足）；2）推荐内容缺乏个性化适配（未考虑用户病史、症状特征等个体差异）；3）医疗信息可信度验证机制缺失（存在误导风险）。本项目将融合大规模预训练语言模型、动态知识图谱和医学循证规则，重点突破以下方向： 研究医疗领域大模型精准语义理解与意图识别技术 构建多维度用户画像与个性化推荐算法体系 开发基于医学循证的可信度验证与风险预警机制
研究领域： 深度学习 项目简介： AI健康管家定位是全科三甲主任医师水平，确保健康管家问答的精准度与专业性是我们的核心追求。当前，我们正致力于对RAG（可检索增强生成模型）进行深度优化，主要聚焦于query planning、检索与生成等关键模块的独立改进。然而，构建一个能够针对不同复杂度query灵活响应的、模块化的rag系统，以及通过代理(agent)机制整合各模块以实现这一目标，尚处于初级阶段；同时，当前rag在利用知识图谱进行信息召回时，仅限于基础的1/2跳推理，这显然未能充分利用医疗领域丰富的文献与指南资源，这些资源能够为现有的图谱检索（graph rag）提供更深层次的融合与升级潜力。