蚂蚁金服蚂蚁集团-医疗多模态算法-健康事业群
任职要求
1.具备扎实的机器学习基础和工程化能力，包括机器学习、深度学习、强化学习。实操具备多模态大模型预训练、SFT、GRPO等后训练技术有项目应用经验优先。 2.熟练掌握Python，JAVA等至少一门语言，掌握Tensorflow、Pytor…
工作职责
1. 负责医疗多模态大模型的研发和应用，深入挖掘垂直医疗行业、开源以及蚂蚁的海量数据，研究前沿大模型训练和优化方法，结合医疗行业特性构建图文/语音/视频交互的医疗多模态大模型。 2. 开发医疗领域领先的技术产品，如报告解读、皮肤、影像识别等产品，提升医疗行业场景的用户体验和效率，打造支付宝医疗健康新时代下的AI应用。 3. 研究和跟踪前沿技术发展，探索AI助力医疗普惠和智能化的新范式。
1. 基座模型构建： 负责医疗影像多模态基础模型的预训练工作，探索高效的训练策略和架构，使其具备强大的视觉和语言理解能力； 2. 模型能力对齐： 负责模型的后训练工作，通过指令微调（SFT）、人类反馈对齐（如RLHF/DPO）等技术，使模型能精准理解并执行下游任务，如影像问答、报告解读、病理诊断等； 3. 数据引擎建设： 参与构建高质量的训练数据流，研究并实践先进的数据清洗、数据合成及数据蒸馏技术； 4. 前沿技术跟进： 持续研究和跟踪多模态大模型领域的最新进展，并将其创新性地应用于我们的医疗项目中，保持团队的技术领先性。
1、负责数字人算法的研发和应用，包括3D数字人驱动技术，2D数字人视频生成技术，结合大模型优化数字人交互效果； 2、开发医疗领域领先的技术产品，如泛医疗助手、医护办事等产品，提升医疗行业场景的用户体验和效率，打造支付宝医疗健康新时代下的AI应用； 3、研究和跟踪前沿技术发展，探索AI助力医疗普惠和智能化的新范式。
1. 数据处理与治理：负责医疗场景下的多模态数据（如医学影像、视频、语音、病历等）的清洗、标准化、标注与增强，构建高质量、符合业务需求的专项数据集； 2. OCR技术开发与应用：主导并优化OCR技术，针对医疗文档、报告、表格等复杂版式，实现高精度的文本检测、识别与关键信息的结构化提取； 3. 大模型微调与强化：针对具体场景，完成领域大模型的指令微调与强化，优化模型对医疗数据的理解、推理与处理能力； 4. 可信AI与评估体系构建：结合知识图谱和询证原则构建模型能力对齐与评估体系，确保模型输出的准确性、安全性与逻辑一致性，推动模型迭代； 5. 技术前瞻与创新：跟踪多模态大模型前沿进展，探索其在医疗健康领域的创新应用场景，并推进技术原型验证与落地。
1）基于多模态数据信息的重大慢病(比如心脑血管疾病，代谢性疾病）风险预测，评估，精确诊断 以及诊断推荐和预后优化评估； 2）针对癌症病人潜在群体的多模态信息polygenic score估计和风险预测，重大癌症病种确诊分类，基于多模态时间序列信息的治疗方案推荐，癌症病人全流程管理； 3）打造蚂蚁健康在医疗学术影响力；（如参加国际医疗学术会议和分享、发表论文等）； 4）内部分享：及时的全球最前沿的医疗AI动态跟国内团队分享交流，提升团队的全球视野。