阿里云研究型实习生 - 大语言模型的知识幻觉研究

研究领域： 人工智能 项目简介： 【攻击】蚁鉴作为蚁天鉴大模型安全一体化解决方案的重要组成部份之一，聚焦于大语言模型潜在输出内容安全的主动挖掘和模型安全能力的量化评测。随着大模型的应用场景不断扩增，使用场景不断多样化，模态增加，agent组件增加，其暴露出来的潜在风险问题也随之扩大。我们希望通过建立一套自动化选件红队体系，挖掘更多的风险，研发更高攻击成功率的方法。从而更快，更全面地发现风险，评估风险，解决风险。当前评测遇到挑战： 1、如何批量的自动发现扫描未知的安全风险； 2、多模态agent 大模型安全评测方案设计； 3、如何对非API的复杂智能体（例如支小宝）进行评测； 4、大模型其他安全问题的研究，例如：能耗攻击，后门，可解释性等； 【防御】大模型对齐作为蚁天鉴安全护栏核心能力之一，对于不安全或者有攻击性的query，在response的价值观等安全性方面往往能表现出更加优秀的性能，在安全链路中发挥着及其重要的作用。 然而，内容安全大模型依然存在大模型的不足： 1. 与语言模型相比，多模内容安全大模型在内容的理解和生成存在许多跨域风险的理解与对齐问题。 2. 幻觉问题，对于一些低频知识依然存在幻觉，特别是在涉政场景，幻觉问题的影响会被放大。 3. 模型难以可控生成，对于一些紧急badcase修复和业务调整依然需要大量数据重新训练成本较高，无法进行及时高效地局部模型知识更新。 4. 推理模型安全性研究与防控。

自然文本生成是大语言模型在应用落地时最具前景的方向之一，文本摘要、文本扩写和文本润色等能力可以将用户从繁重枯燥的文宇工作中解放出来，显著提高用户的工作效率和行业的生产效率。本项目旨在探索自然文本生成还存在以下若干难题： 1）知识注入的问题：大语言模型需要高质量的数据进行训练，然而现有的通用和行业数据体系的构建相对落后，我们希望通过创新的算法从大量原始的、质量参差不齐的数据中自动挑选高质量数据进行训练，同时通过数据浓度和学习进度的调控平衡大语言模型在各个方向的文本生成能力； 2）知识应用的问题：部分行业如政务、医疗对生成文本的相关度和真实性有很高的要求，然而大语言模型在理解长文本和生成长文本时，存在抓不住重点和生成幻觉的问题； 3）知识评估的问题：文本生成的内容目前仅能依靠人工的方式进行评测，限制了评测的范围和算法迭代的速度。我们希望模型辅助评测的方式，实现半自动乃至全自动的评测。

随着近些年机器学习与表征学习的发展，非结构化数据的查询和分析变得更加普遍。通过表征学习，我们可以把图片或文本嵌入到高维空间从而用高维向量来代表这些图片或文本。进一步的，通过在高维空间中查找最近邻，我们可以对非结构化数据进行语义搜索。例如，通过检索增强生成技术（RAG），我们可以将外部知识或领域知识进行向量化，利用向量空间中的近邻搜索得到对应的原始知识，对大语言模型的生成结果进行增强，来减少大模型出现幻觉或知识过时的现象。 为了提升数据库产品对AI应用的支持，阿里云瑶池数据库也全面提升了向量检索能力，在PolarDB、RDS、AnalyticDB、Lindorm、Tair等产品中集成了向量功能，实现结构化数据、半结构化数据、多模数据、向量数据的一体化处理。 然而，目前向量索引主要关注查询速度和准确率，对于实际复杂场景下的搜索问题还没有足够的研究。例如，分布式架构下的向量查询索引、结构化与非结构化数据的联合查询，以及数据动态增删场景下的索引优化等问题，都需要进一步探索和研究。

大语言模型（LLM）是一种基于神经网络技术和海量语料库数据进行预训练的语言模型，拥有非常强大的语言理解、内容生成能力。结合检索增强生成（RAG）技术，LLM能够实时访问和整合外部知识库的信息，从而显著提高其在复杂问答和特定领域任务中的准确性和可靠性。然而，RAG方法会引入以下两种问题： 1. 额外成本（尤其是在利用搜索引擎的开放域场景下）； 2. 不可避免的引入噪音，干扰大语言模型。 本项目通过识别特定LLM的知识边界，精确判断当前问题是否需要通过检索补充外部知识，降低模型幻觉。