阿里云研究型实习生 - 面向检索的文本向量化以及Rerank模型技术

RAG（检索增强生成）是一种将信息检索技术与大语言模型相结合的技术架构。它通过从海量文档中检索出与查询相关的信息，并将这些信息输入到大语言模型中，从而生成更准确且全面的回答或文本。然而，要实现生产级的RAG性能和可靠性，还需要面临诸多挑战。阿里云人工智能平台（PAI）团队专注于RAG平台的开发与持续优化，致力于推动企业级RAG在实际业务中的落地与应用。我们目前的研究和开发方向包括但不限于： 1. 查询理解与优化：提升对大语言模型的查询理解能力，优化召回机制及查询重排序算法。 2. 多模态的文档理解和问答生成：提升多模态文档（包括文本和图像等）的理解及问答生成能力。 3. 大模型Agent技术：提升基于大语言模型的Agent的任务规划和工具调用能力。 4. Text2SQL生成：优化从自然语言自动生成SQL查询的准确性。 5. RAG效果评估：构建benchmark和效果评估。

我们正在寻找对人工智能、多模态数据处理、系统性能优化感兴趣的实习生，参与一个面向多模态数据获取、解析、压缩与高效传输的研究课题。该课题聚焦于提升多模态系统在复杂环境下的实时性表现与资源利用率，具有广泛的应用前景（如智能运维、RAG检索增强生成、边缘计算等）。你将参与的工作包括但不限于： 1. 多模态数据采集与预处理：从网页、API、数据库、摄像头、麦克风等来源获取文本、图像、音频和视频数据； 2. 多模态数据解析与特征提取：使用OCR、ASR、NLP、CV等技术解析不同模态内容； 3. 模型轻量化与加速：探索基于Transformer、CNN、LSTM等模型的压缩、蒸馏、量化方法； 4. 系统级优化与部署：设计低延迟、低资源占用的数据处理流程，支持在边缘设备上运行； 5. 性能评估与实验分析：构建测试集，评估系统的吞吐量、响应时间、准确率等关键指标； 6. 撰写技术文档与研究报告：整理实验过程、结果与改进建议。 技术要求（优先但不强制）： 1. 熟悉Python编程语言，有良好的代码规范； 2. 了解基本的NLP、CV或语音识别技术； 3. 掌握至少一种深度学习框架（PyTorch/TensorFlow）； 4. 熟悉Linux系统及常用命令行工具。 有以下经验者优先考虑： 1. 多模态任务处理经验（如CLIP、Flamingo等）； 2. 模型压缩与部署经验（如TensorRT、ONNX、OpenVINO、TVM等）； 3. 使用过音视频处理工具（如FFmpeg、OpenCV、Whisper、YOLO等）； 4. 有一定系统编程能力（C/C++、CUDA、FPGA基础）。

专注与多模态预训练语言模型驱动的视觉搜索模型训练和优化，具体职责包括： 1、探索基于VLM的视觉信息多模态搜索训练数据合成方案; 2、深入优化融合视觉信息搜索能力的模型最优训练策略, 包括弹性维度支持、稀疏表征训练、单向量/多向量压缩等多种方法，旨在构建高效且具备强视觉感知能力的多模态搜索模型; 3、探索面向文本、图像与视频输入的统一视觉信息搜索模型训练, 通过构建跨模态、跨语言及多粒度的统一表示空间，解决不同模态之间语义对齐与表征一致性的问题，实现更加通用和鲁棒的视觉信息搜索能力。

RAG是当前大语言模型实际应用中的核心技术之一。RAG链路中，Embedding和ReRank是两个关键模块。本项目主要面向多语言多模态表征技术方向的研究。研究课题主要包括: 1. 持续探索适配多语言文本、多模态表示及排序模型的最佳预训练架构、预训练方法和SFT策略； 2. 持续探索加速模型迭代效率的方案，例如大模型数据合成、模型融合策略等方案； 3. 探索多模态RAG、LLM驱动的新型搜索方案。