蚂蚁金服蚂蚁集团-医疗影像多模态算法-健康事业群
任职要求
1. 具备扎实的机器学习基础和工程化能力，包括机器学习、深度学习、强化学习。熟练掌握 Python 编程，并精通至少一种深度学习框架（PyTorch优先）； 2. 有大模型开源项目、医疗应用场景、多…
工作职责
1. 基座模型构建： 负责医疗影像多模态基础模型的预训练工作，探索高效的训练策略和架构，使其具备强大的视觉和语言理解能力； 2. 模型能力对齐： 负责模型的后训练工作，通过指令微调（SFT）、人类反馈对齐（如RLHF/DPO）等技术，使模型能精准理解并执行下游任务，如影像问答、报告解读、病理诊断等； 3. 数据引擎建设： 参与构建高质量的训练数据流，研究并实践先进的数据清洗、数据合成及数据蒸馏技术； 4. 前沿技术跟进： 持续研究和跟踪多模态大模型领域的最新进展，并将其创新性地应用于我们的医疗项目中，保持团队的技术领先性。
1. 负责医疗多模态大模型的研发和应用，深入挖掘垂直医疗行业、开源以及蚂蚁的海量数据，研究前沿大模型训练和优化方法，结合医疗行业特性构建图文/语音/视频交互的医疗多模态大模型。 2. 开发医疗领域领先的技术产品，如报告解读、皮肤、影像识别等产品，提升医疗行业场景的用户体验和效率，打造支付宝医疗健康新时代下的AI应用。 3. 研究和跟踪前沿技术发展，探索AI助力医疗普惠和智能化的新范式。
1. 数据处理与治理：负责医疗场景下的多模态数据（如医学影像、视频、语音、病历等）的清洗、标准化、标注与增强，构建高质量、符合业务需求的专项数据集； 2. OCR技术开发与应用：主导并优化OCR技术，针对医疗文档、报告、表格等复杂版式，实现高精度的文本检测、识别与关键信息的结构化提取； 3. 大模型微调与强化：针对具体场景，完成领域大模型的指令微调与强化，优化模型对医疗数据的理解、推理与处理能力； 4. 可信AI与评估体系构建：结合知识图谱和询证原则构建模型能力对齐与评估体系，确保模型输出的准确性、安全性与逻辑一致性，推动模型迭代； 5. 技术前瞻与创新：跟踪多模态大模型前沿进展，探索其在医疗健康领域的创新应用场景，并推进技术原型验证与落地。
1）基于多模态数据信息的重大慢病(比如心脑血管疾病，代谢性疾病）风险预测，评估，精确诊断 以及诊断推荐和预后优化评估； 2）针对癌症病人潜在群体的多模态信息polygenic score估计和风险预测，重大癌症病种确诊分类，基于多模态时间序列信息的治疗方案推荐，癌症病人全流程管理； 3）打造蚂蚁健康在医疗学术影响力；（如参加国际医疗学术会议和分享、发表论文等）； 4）内部分享：及时的全球最前沿的医疗AI动态跟国内团队分享交流，提升团队的全球视野。
我们正在构建世界级医疗垂直大模型，致力于通过AGI技术革新健康咨询与辅助诊疗场景，让精准医疗普惠每个家庭。如果你渴望在万卡算力集群上实现算法突破，用技术改变14亿人的生命质量，这是你不可错过的技术圣战。加入我们，定义医疗大模型的未来。 职位描述： 1、解决模型在真实、复杂、强噪声的医疗多模态数据中，形成可靠的诊疗推理能力。训练模型能力做到在多模态证据（非结构化文本、影像、时序数据）之间建立可推理的联系，在信息不充分时保持克制，在必要时给出可回溯、可解释的诊疗路径 2、探索多模态模型在医疗问答、智能诊断、多轮对话场景中的能力上限，探索从数据挖掘、RL 训练策略设计、模型调优到效果评估的完整闭环 3、探索神经符号融合系统