阿里巴巴研究型实习生 - 多模态数据湖仓检索分析
任职要求
1、扎实的工程能力，优良的编程风格，熟悉C++/Java语言和常用设计模式，具备复杂系统的设计开发调试能力； 2、优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心； 3、熟悉计算机体系结构…
工作职责
专注于数据湖场景下向量化和多模态数据存储和分析系统的研究、探索和开发，具体职责包括： 1、探索和研究高效可扩展的向量索引和分级存储算法，支持超大规模向量数据存储和检索； 2、探索和研究高性能的多模态数据检索和查询算法，支持大数据AI一体化场景下的融合分析； 3、分析现有向量索引算法和典型负载的性能瓶颈，提出并实现创新的优化技术； 4、结合阿里云Milvus和EMR 产品服务，提供可靠高效的向量存储和检索方案，支持不同行业和规模的客户场景； 5、面向数据湖仓场景构建业界领先的多模态数据查询分析解决方案。
我们正在寻找对人工智能、多模态数据处理、系统性能优化感兴趣的实习生，参与一个面向多模态数据获取、解析、压缩与高效传输的研究课题。该课题聚焦于提升多模态系统在复杂环境下的实时性表现与资源利用率，具有广泛的应用前景（如智能运维、RAG检索增强生成、边缘计算等）。你将参与的工作包括但不限于： 1. 多模态数据采集与预处理：从网页、API、数据库、摄像头、麦克风等来源获取文本、图像、音频和视频数据； 2. 多模态数据解析与特征提取：使用OCR、ASR、NLP、CV等技术解析不同模态内容； 3. 模型轻量化与加速：探索基于Transformer、CNN、LSTM等模型的压缩、蒸馏、量化方法； 4. 系统级优化与部署：设计低延迟、低资源占用的数据处理流程，支持在边缘设备上运行； 5. 性能评估与实验分析：构建测试集，评估系统的吞吐量、响应时间、准确率等关键指标； 6. 撰写技术文档与研究报告：整理实验过程、结果与改进建议。 技术要求（优先但不强制）： 1. 熟悉Python编程语言，有良好的代码规范； 2. 了解基本的NLP、CV或语音识别技术； 3. 掌握至少一种深度学习框架（PyTorch/TensorFlow）； 4. 熟悉Linux系统及常用命令行工具。 有以下经验者优先考虑： 1. 多模态任务处理经验（如CLIP、Flamingo等）； 2. 模型压缩与部署经验（如TensorRT、ONNX、OpenVINO、TVM等）； 3. 使用过音视频处理工具（如FFmpeg、OpenCV、Whisper、YOLO等）； 4. 有一定系统编程能力（C/C++、CUDA、FPGA基础）。
1. 协助团队开展多模态大模型算法研发工作，参与语音/音频生成、理解等核心技术的研发与测试； 2. 辅助研发多模态内容理解模型，协助搭建高精度、细粒度的内容描述体系，完成基础数据标注与整理工作； 3. 参与训练数据集的搭建、清洗、整理与标注，助力模型迭代优化，配合完成数据集相关基础调研； 4. 协助推进多模态大模型在核心业务中的落地测试，参与技术实用化过程中的效果验证与问题反馈； 5. 跟踪多模态大模型、音频AI领域行业前沿技术，协助整理前沿技术资料，参与团队技术研讨与学习。
阿里巴巴达摩院医疗AI团队，面向多模态医疗大模型的前沿研究与应用落地，旨在构建能够理解和推理不同医疗模态信息（影像、文本、临床结构化数据等）的通用智能系统。 研究方向包括但不限于： ● 多模态医疗大模型的架构设计、训练与优化 ● 医学影像（CT/MRI/超声、病理切片等）与医学文本（病历、检验报告等）的跨模态表示学习，多模态对齐，知识图谱增强 ● 医疗领域的视觉‑语言模型（VLM）、医学版GPT及多模态融合方法 ● 面向诊断与治疗决策的推理型模型和知识增强大模型 ● 少样本/零样本医疗任务泛化、可解释性与可信AI 我们拥有： ● 海量高质量、多模态临床数据（影像+文本+结构化信息） ● 充足算力资源（GPU不限，集群规模支持超大模型训练） ● 与国内外顶级医院、知名医学专家的长期科研合作 ● 在顶级会议与期刊（Nature子刊、TMI、MICCAI、CVPR、NeurIPS等）的高影响力成果 这是一个将AI大模型与医疗健康结合、面向未来的研究机会。
1.参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化； 2.致力于提升不同阶段模型训练负载的极限吞吐，能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段，优化手段包括但不局限于算子优化、通信优化、分布式策略优化等； 3.参与训练框架对于不同硬件的支持和优化。