蚂蚁金服研究型实习生-多模态内容隐晦概念风险攻防
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作
工作职责
研究领域： 机器学习 项目简介： 隐晦类的内容风险防控一直是内容安全识别中的难题，一般通过隐喻、暗讽等手段隐晦的表达某些观点或者对特定的人和事件进行攻击； 在表现形式上除了单独的图文模态，还包括多模混合的情况；从算法角度看，该类风险的防控除了需要模型能够理解内容中的各个要素，进一步的需要模型能够通过各个要素的组合结合外部知识去推理出内容的隐晦表达； 传统识别算法更多的从要素去判断，无法有效防控此类隐晦表达类风险，另外这类风险大多为创意类内容，其表现形式多种多样，样本稀缺，无法通过大规模的数据收集训练有效的识别能力，所以也需要模型具备小样本甚至0样本的识别能力；
RAG（Retrieval-Augmented Generation）检索增强生成技术伴随着LLM技术爆发迅速发展，广泛应用于文档问答、智能客服、技术支持等实际业务场景。 在上述场景中，除了纯文本内容效果已经发展到一定水平，图片、表格、代码等多模态的内容的RAG还处于比较初级阶段，目前技术很难解决实际业务问题。 多模态RAG效果重要的效果瓶颈之一在于多模态检索技术，如何将多模态信息统一表征到同一个向量化空间中，结合向量检索技术提升多模态检索效果是很有挑战的问题。 除了上述场景，多模态RAG通过和音频、视频等模态的结合，必定还有更多的业务场景可以挖掘。
我们正在寻找对人工智能、多模态数据处理、系统性能优化感兴趣的实习生，参与一个面向多模态数据获取、解析、压缩与高效传输的研究课题。该课题聚焦于提升多模态系统在复杂环境下的实时性表现与资源利用率，具有广泛的应用前景（如智能运维、RAG检索增强生成、边缘计算等）。你将参与的工作包括但不限于： 1. 多模态数据采集与预处理：从网页、API、数据库、摄像头、麦克风等来源获取文本、图像、音频和视频数据； 2. 多模态数据解析与特征提取：使用OCR、ASR、NLP、CV等技术解析不同模态内容； 3. 模型轻量化与加速：探索基于Transformer、CNN、LSTM等模型的压缩、蒸馏、量化方法； 4. 系统级优化与部署：设计低延迟、低资源占用的数据处理流程，支持在边缘设备上运行； 5. 性能评估与实验分析：构建测试集，评估系统的吞吐量、响应时间、准确率等关键指标； 6. 撰写技术文档与研究报告：整理实验过程、结果与改进建议。 技术要求（优先但不强制）： 1. 熟悉Python编程语言，有良好的代码规范； 2. 了解基本的NLP、CV或语音识别技术； 3. 掌握至少一种深度学习框架（PyTorch/TensorFlow）； 4. 熟悉Linux系统及常用命令行工具。 有以下经验者优先考虑： 1. 多模态任务处理经验（如CLIP、Flamingo等）； 2. 模型压缩与部署经验（如TensorRT、ONNX、OpenVINO、TVM等）； 3. 使用过音视频处理工具（如FFmpeg、OpenCV、Whisper、YOLO等）； 4. 有一定系统编程能力（C/C++、CUDA、FPGA基础）。
【职位描述】 我们是小红书安全风控平台部/算法策略组/内容安全组，目前专注于多模态大模型在多模态理解和内容安全场景的技术落地和产品预研，目前在相关数据&技术方向有一定的积累，并将长期持续投入。我们希望寻求优秀在读硕士生/博士生共同突破大模型在安全审核行业落地的技术挑战，作为实习生，你将有机会与产品、工程紧密合作，将研究算法应用到实际问题中，并解决有难度有价值的问题，促进领域前沿技术的发展。欢迎投递简历。该岗位的核心研究方向包括但不限于： 1. 基础多模态表征：主要研究小红书多模态数据（笔记）下的基础多模态表征工作，包括层次化表征、特征融合、自监督探索等，作为基础模型，支持多样化检索场景。 2. 通用多模态大模型：通用多模态大模型在安全领域理解相关研究，包括高效微调、多模态理解等。建立安全多模态基础模型。
1. 掌握和跟进LLM、MLLM、多模态基座等前沿技术的发展动态； 2. 结合业务需求，深入研究多模态意图定位技术，比如visual/text意图实现商品/卖点信息定位，赋能业务内容/商品理解； 3. 结合业务需求，结合最新的大模型技术，探索更强的多模态语义表征，构建更强检索能力； 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。