小鹏汽车AI多模态研究实习生（有留用机会）
任职要求
1、研究生在读，计算机、人工智能、数据科学、统计等相关专业； 2、熟练使用 Python，具备基本的数据处理能力（如 NumPy / Pandas），熟悉 PyTorch 者优先； 3、对大模型（LLM / VLM）或多模态方向有基本理解，有实际项目经验者优先； 4、具备基础的数据分析能力，能够理解数据分布、聚类或相似性分析等概念； 5、具备良好的学习能力和问题分析能力，对数据驱动的模型优化有兴趣； 加分项 1、有向量检索（FAISS / Milvus）、聚类（k-means / DBSCAN 等）或表示学习经验； 2、有 LLM / V…
工作职责
职责概述：参与自动驾驶与多模态大模型（VLM/LLM）相关的数据与模型研发工作，主要包括： 1、参与数据分布分析与场景聚类工作，通过向量化表示对大规模数据进行组织与分析，理解数据结构、长尾分布及典型场景特征； 2、基于向量检索与聚类结果，参与相似场景发现、数据筛选与问题挖掘，支持模型训练数据的构建与优化； 3、参与模型推理与数据处理相关工具开发，编写和维护 Python 代码，用于模型调用、数据处理、统计分析及结果可视化； 4、参与模型行为分析工作，包括 hidden states、attention、logits 等中间信息的对比与分析，协助理解模型表现与问题来源； 5、协助完成实验设计、结果分析及技术文档整理，支持模型效果评估与数据迭代。
参与大规模多模态模型(VLM)和大型语言模型(LLM)的数据飞轮研发工作,包括: ①多模态数据处理、标注与向量抽取流程搭建； ②参与模型推理加速、特征向量抽取、模型对齐与效果评估编写和维护Python代码,用于数据读取、模型调用、可视化和统计； ③支持embedding数据库(如FAISS/Milvus)的基础流程 参与模型分析,包括hidden states、attention、logits对比协助完成实验报告与技术文档；
医学影像（如CT、MRI、超声等）AI识别技术在疾病筛查、诊断和治疗过程中发挥着重要作用。达摩院医疗实验室癌症早筛、医学图像合成技术（AICG）、医疗多模态大模型、医学影像感知基础模型、影像报告生成、等领域已有多年积累，相关创新成果发表于Nature Medicine/TPAMI/IJCV/CVPR/ICCV/NeurIPS/ICLR/ICML等领域顶会顶刊。传统医学影像AI模型大多是在专门构建的小数据上训练专有小模型，受限于训练数据量和模型尺寸，此类模型通常泛化性较差无法满足真实世界的多中心需求。近几年大模型的兴起，特别是医疗垂域大模型的出现，为医学影像分析带来了新的机遇。我们期望通过研究医疗影像AI相关的基础模型技术（包括但不限于医疗影像生成大模型、感知基础模型、多模态大模型、大模型优化、Agent智能体等），解决有应用价值的临床问题。 我们期望你在实习工作中，解决如下算法问题，发表高质量的AI顶会或者临床期刊： （1）医学影像生成大模型：探索医疗影像生成基础大模型（医疗领域的SORA），探索医疗影像感知生成一体框架，探索医疗编辑统一模型，探索如何合成高质量医学影像数据等。 （2）医学影像感知基础模型：探索自监督和VLP等范式的大规模预训练方法（例如DinoV2/CLIP/MAE）及其临床应用，探索对多器官、多病种的感知和理解统一模型（例如Vista3d、MedSAM2、MedClip）等。 （3）医疗多模态大模型（MLLM）：探索如何融合不同医疗模态的影像和文本数据，探索医疗多模态大模型的临床应用，探索医疗影像报告生成、探索基于文本引导的grounding任务等。 （4）大模型训练推理加速技术：探索在保证模型性能的前提下提升生成模型的训练和推理效率，包括但不限于扩散模型、LLM、多模态大模型、Transformer和CNN网络架构的训练推理加速。 （5）医疗Agent智能体：探索医疗Agent系统的设计或者临床任务的应用，能够根据实际的诊断流程设计合理的Agent智能体。 （6）其他有价值的临床医学课题：基于高质量临床医学数据，分析其中临床问题针对性设计合适的AI算法，完成临床实验验证。
1、数据效能研究（Data Efficiency）：基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现； 2、数据–模型协同设计（Co-Design）：与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制； 3、高质量数据构建（Data Quality Engineering）：参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式； 4、多模态数据分析（Multimodal Analytics）：对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
1.负责多模态数字内容生成的算法研发，包括但不限于图像、视频和3D生成，旨在提升生成质量的稳定性、可控性等； 2.利用多模态生成能力帮助业务方提升工作效率及拓展业务场景，包括但不限于人物/场景/物品的美术制作以及3D建模等； 3.探索和推进有影响力的AI技术研究和在具体业务场景中的应用。