京东医疗多模态循证推理大模型探索研究
任职要求
1. 计算机科学、人工智能、医疗信息学或数据科学等相关领域的本硕博在校生。 2. 深入理解大语言模型与多模态融合技术原理，精通模型的全流程训练（PT/SFT/RLHF）及推理优化机制。 3. 具备卓越的工程落地能力与庞大系统的架…
工作职责
1. 负责研发基于多模态大语言模型的临床决策系统底座，强化其在自主循证检索、多模态思维链推理等方面的核心能力。 2. 突破影像、化验、病历等多源异构数据的融合分析壁垒，支撑全流程临床辅助决策，逼近并扩展人类医生的认知边界。 3. 构建超大规模的多模态医疗数据集（涵盖影像、皮肤、饮食、文本等），通过预训练与后训练技术强化模型的工具调用能力。 4. 持续打磨并调优核心模型，确保其在国内外权威的临床大模型评测榜单（Benchmark）上达到业内SOTA水平。
1.深度参与医疗领域多模态大模型（Medical VLM）的全链路研发，负责包括基础模型预训练、指令微调（SFT）、以及基于人类反馈的强化学习（RLHF）等核心技术的建模与优化； 2.探索并实现面向多模态医疗诊断辅助、健康管理等复杂场景的 AI Agent 架构，设计多步推理、工具调用及反思机制，提升模型解决实际医学问题的能力； 3.建立完善的多模态医疗垂直领域模型评估体系，从医学专业性、安全性、逻辑性等维度持续迭代算法方案。
1. 负责医疗多模态大模型的研发和应用，深入挖掘垂直医疗行业、开源以及蚂蚁的海量数据，研究前沿大模型训练和优化方法，结合医疗行业特性构建图文/语音/视频交互的医疗多模态大模型。 2. 开发医疗领域领先的技术产品，如报告解读、皮肤、影像识别等产品，提升医疗行业场景的用户体验和效率，打造支付宝医疗健康新时代下的AI应用。 3. 研究和跟踪前沿技术发展，探索AI助力医疗普惠和智能化的新范式。
1. 基座模型构建： 负责医疗影像多模态基础模型的预训练工作，探索高效的训练策略和架构，使其具备强大的视觉和语言理解能力； 2. 模型能力对齐： 负责模型的后训练工作，通过指令微调（SFT）、人类反馈对齐（如RLHF/DPO）等技术，使模型能精准理解并执行下游任务，如影像问答、报告解读、病理诊断等； 3. 数据引擎建设： 参与构建高质量的训练数据流，研究并实践先进的数据清洗、数据合成及数据蒸馏技术； 4. 前沿技术跟进： 持续研究和跟踪多模态大模型领域的最新进展，并将其创新性地应用于我们的医疗项目中，保持团队的技术领先性。
1. 基于多模态大模型，设计并实现医疗险两核智能体架构，支持对话文本、病历图片、医疗票据等多源异构数据的统一理解与推理。 2. 负责多模态大模型在智能核保、智能核赔、两核咨询场景的微调、对齐与优化。 3. 负责模型线上效果评估、AB实验、推理性能优化，保障高并发、高稳定性的业务落地。 4. 跟踪多模态大模型、医疗AI、智能体前沿技术，推动技术创新在医疗险两核场景落地。