京东AI大模型基础算法工程师（多模态）
任职要求
任职要求 1、研究方向为人工智能、大语言模型、搜索推荐、强化学习，硕士以上学历； 2、在顶级期刊或国际会议（如CCF-A）上，以第一作者发表论文；或者在顶级竞赛上获奖； 3、熟悉多模态视觉大模型相关算法（LLaVa、Chameleon、Qwen-VL、OpenCLIP…
工作职责
部门介绍 图像与多模态实验室致力于构建涵盖语言、视觉、语音等多种模态的基础模型，支持多模态感知、理解、推理、生成与编辑等核心任务。我们的目标是为模型应用提供世界一流的基础模型保障，推动从纯语言任务到多模态任务的拓展，并实现从数字世界到物理世界的深度融合。 岗位职责及目标 1、探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化； 2、探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成； 3、探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力； 4、探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能；
1.负责社交大模型方向的记忆检索、Agent函数调用、风格化基座模型等方向的算法突破； 2.紧密贴合业务，通过后训练（SFT&RL）提升模型的专项问题解决能力； 3.基于微信场景数据提供技术解决方案，探索业界前沿技术在业务中的落地与指标优化。
医学影像（如CT、MRI、超声等）AI识别技术在疾病筛查、诊断和治疗过程中发挥着重要作用。达摩院医疗实验室癌症早筛（例如胰腺癌、胃癌、肝癌等）、影像报告生成、医学图像合成技术（AICG）等领域已有多年积累，相关创新成果发表于Nature Medicine/CVPR/ICLR等领域顶会顶刊。传统医学影像AI模型大多是在专门构建的小数据上训练专有小模型，受限于训练数据量和模型尺寸，此类模型通常泛化性较差无法满足真实世界的多中心需求。近几年大模型的兴起，特别是医疗垂域大模型的出现，为医学影像分析带来了新的机遇。我们期望通过研究医疗影像AI相关的基础模型技术（包括但不限于多模态大模型、基础模型、AIGC生成大模型、Agent智能体、大模型优化等），解决泛癌早筛、影像报告生成、医学影像数据合成、医学影像分析大模型、医疗AI智能体等医疗临床问题。 1. 负责泛癌筛查大模型、医学影像报告生成大模型、医学影像基础大模型研发，包括医学影像分析大模型、医学影像生成大模型、医疗多模态大模型、大模型训练推理优化等相关工作内容。 2. 分析业务技术需求，针对真实业务场景设计合理的技术方案与开发路线，通过技术创新和业务验证实现显著的业务价值和效率提升，并产出高质量的学术论文或技术专利。 3. 持续追踪多模态AI领域的最新技术与发展热点，优化现有技术和系统，提升性能与效率，在实际业务场景中进行验证，形成业内领先的技术服务能力和解决方案体系。 4. 处理与分析医学影像数据，将数据制备为模型训练可用数据。
医学影像（如CT、MRI、超声等）AI识别技术在疾病筛查、诊断和治疗过程中发挥着重要作用。达摩院医疗实验室癌症早筛、医学图像合成技术（AICG）、医疗多模态大模型、医学影像感知基础模型、影像报告生成、等领域已有多年积累，相关创新成果发表于Nature Medicine/TPAMI/IJCV/CVPR/ICCV/NeurIPS/ICLR/ICML等领域顶会顶刊。传统医学影像AI模型大多是在专门构建的小数据上训练专有小模型，受限于训练数据量和模型尺寸，此类模型通常泛化性较差无法满足真实世界的多中心需求。近几年大模型的兴起，特别是医疗垂域大模型的出现，为医学影像分析带来了新的机遇。我们期望通过研究医疗影像AI相关的基础模型技术（包括但不限于医疗影像生成大模型、感知基础模型、多模态大模型、大模型优化、Agent智能体等），解决有应用价值的临床问题。 我们期望你在实习工作中，解决如下算法问题，发表高质量的AI顶会或者临床期刊： （1）医学影像生成大模型：探索医疗影像生成基础大模型（医疗领域的SORA），探索医疗影像感知生成一体框架，探索医疗编辑统一模型，探索如何合成高质量医学影像数据等。 （2）医学影像感知基础模型：探索自监督和VLP等范式的大规模预训练方法（例如DinoV2/CLIP/MAE）及其临床应用，探索对多器官、多病种的感知和理解统一模型（例如Vista3d、MedSAM2、MedClip）等。 （3）医疗多模态大模型（MLLM）：探索如何融合不同医疗模态的影像和文本数据，探索医疗多模态大模型的临床应用，探索医疗影像报告生成、探索基于文本引导的grounding任务等。 （4）大模型训练推理加速技术：探索在保证模型性能的前提下提升生成模型的训练和推理效率，包括但不限于扩散模型、LLM、多模态大模型、Transformer和CNN网络架构的训练推理加速。 （5）医疗Agent智能体：探索医疗Agent系统的设计或者临床任务的应用，能够根据实际的诊断流程设计合理的Agent智能体。 （6）其他有价值的临床医学课题：基于高质量临床医学数据，分析其中临床问题针对性设计合适的AI算法，完成临床实验验证。
1. 超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进。针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比。 2. 极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU。 3. 训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果。 4. AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接。