蚂蚁金服蚂蚁集团-医疗多模态算法-健康事业群
任职要求
1.具备扎实的机器学习基础和工程化能力，包括机器学习、深度学习、强化学习。实操具备多模态大模型预训练、SFT、GRPO等后训练技术有项目应用经验优先。 2.熟练掌握Python，JAVA等至少一门语言，掌握Tensorflow、Pytor…
工作职责
1. 负责医疗多模态大模型的研发和应用，深入挖掘垂直医疗行业、开源以及蚂蚁的海量数据，研究前沿大模型训练和优化方法，结合医疗行业特性构建图文/语音/视频交互的医疗多模态大模型。 2. 开发医疗领域领先的技术产品，如报告解读、皮肤、影像识别等产品，提升医疗行业场景的用户体验和效率，打造支付宝医疗健康新时代下的AI应用。 3. 研究和跟踪前沿技术发展，探索AI助力医疗普惠和智能化的新范式。
1. 基座模型构建： 负责医疗影像多模态基础模型的预训练工作，探索高效的训练策略和架构，使其具备强大的视觉和语言理解能力； 2. 模型能力对齐： 负责模型的后训练工作，通过指令微调（SFT）、人类反馈对齐（如RLHF/DPO）等技术，使模型能精准理解并执行下游任务，如影像问答、报告解读、病理诊断等； 3. 数据引擎建设： 参与构建高质量的训练数据流，研究并实践先进的数据清洗、数据合成及数据蒸馏技术； 4. 前沿技术跟进： 持续研究和跟踪多模态大模型领域的最新进展，并将其创新性地应用于我们的医疗项目中，保持团队的技术领先性。
1. 基于多模态大模型，设计并实现医疗险两核智能体架构，支持对话文本、病历图片、医疗票据等多源异构数据的统一理解与推理。 2. 负责多模态大模型在智能核保、智能核赔、两核咨询场景的微调、对齐与优化。 3. 负责模型线上效果评估、AB实验、推理性能优化，保障高并发、高稳定性的业务落地。 4. 跟踪多模态大模型、医疗AI、智能体前沿技术，推动技术创新在医疗险两核场景落地。
1.深度参与医疗领域多模态大模型（Medical VLM）的全链路研发，负责包括基础模型预训练、指令微调（SFT）、以及基于人类反馈的强化学习（RLHF）等核心技术的建模与优化； 2.探索并实现面向多模态医疗诊断辅助、健康管理等复杂场景的 AI Agent 架构，设计多步推理、工具调用及反思机制，提升模型解决实际医学问题的能力； 3.建立完善的多模态医疗垂直领域模型评估体系，从医学专业性、安全性、逻辑性等维度持续迭代算法方案。
研究领域： 人工智能 项目简介： 随着远程医疗、居家康复、互联网医院等场景爆发式增长，医患之间“面对面”实时交互从“线下”迁移到“线上”。传统文字/图片问诊已无法满足听诊、视诊、康复指导、急救指挥等强实时、强感官的临床需求。 项目聚焦“听得到、看得见、看得懂、答得准”四大痛点，构建一套医疗级、低延时、可解释、可扩展的音视频多模态实时交互 Agent 框架。通过融合图像、视频、音频、文字、结构化数据等模态数据，实现接近真人医生视频对话的实时交互效果，提升用户体验，保障在AI诊疗任务中的识别效果。