研究发现:RAG系统中文档数量影响AI语言模型性能

73
2025-03-31

耶路撒冷希伯来大学的研究人员最近发现,在检索增强生成(RAG)系统中,即使总文本长度保持不变,处理的文档数量也会显著影响语言模型的性能。


研究团队利用MuSiQue验证数据集中的2,417个问题进行实验,每个问题链接到20个维基百科段落。其中两到四段包含相关答案信息,其余段落作为干扰项。为研究文档数量的影响,团队创建了多个数据分区,逐步将文档数量从20个减少到最少只保留包含相关信息的2-4个文档。为确保总标记数一致,研究人员使用原始维基百科文章的文本扩展了保留的文档。



实验结果表明,在大多数情况下,减少文档数量可提高语言模型性能约10%。研究测试了包括Llama-3.1、Qwen2和Gemma2在内的多个开源模型。值得注意的是,Qwen2模型表现出例外,能够在文档数量变化时保持相对稳定的性能,而Llama-3.1和Gemma-2的性能随着文档数量增加明显下降。



当仅提供包含支持性信息的文档时,所有模型表现都明显提升,这表明RAG系统中常见的相似但不相关的文档会使模型混淆并降低性能。有趣的是,模型在处理明显不相关的随机文档时表现反而更好,说明它们更容易识别和过滤明显无关内容。



研究人员强调,在设计检索系统时需要平衡相关性和多样性,以减少信息冲突。他们也承认研究存在一些局限性,包括缺乏对提示变化和数据顺序影响的分析。该团队已公开数据集,以促进这一领域的进一步研究。

79863
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
次卡|沧州 木/电吉他一对一课程转让 线上线下均可
吉他课
¥2600
次卡|Hellokid纯欧美英语外教一对一
欧美英语外教一对一
¥12000
年卡|便宜转让
健身年卡+私教课
¥10000
次卡|低价转让
瑜伽
¥75
年卡|JS舞蹈(珠海井岸店)双项教练班年卡转让
古典舞,JAZZ,K-POP,HIPPOP
¥9000
年卡|注册会计师会计、审计、财管强化阶段课程转让
注册会计师
¥3680
次卡|广州奥园广场芒果健身私教课转让
康复课、常规私教课
¥7500
次卡|瑜伽课转让
小班课
¥4263
年卡|大刊牛文课转让
大刊牛文课
¥1000
年卡|26考研英语课程转让
考研课
¥600
73
AI资讯

研究发现:RAG系统中文档数量影响AI语言模型性能

收录于合集

耶路撒冷希伯来大学的研究人员最近发现,在检索增强生成(RAG)系统中,即使总文本长度保持不变,处理的文档数量也会显著影响语言模型的性能。


研究团队利用MuSiQue验证数据集中的2,417个问题进行实验,每个问题链接到20个维基百科段落。其中两到四段包含相关答案信息,其余段落作为干扰项。为研究文档数量的影响,团队创建了多个数据分区,逐步将文档数量从20个减少到最少只保留包含相关信息的2-4个文档。为确保总标记数一致,研究人员使用原始维基百科文章的文本扩展了保留的文档。



实验结果表明,在大多数情况下,减少文档数量可提高语言模型性能约10%。研究测试了包括Llama-3.1、Qwen2和Gemma2在内的多个开源模型。值得注意的是,Qwen2模型表现出例外,能够在文档数量变化时保持相对稳定的性能,而Llama-3.1和Gemma-2的性能随着文档数量增加明显下降。



当仅提供包含支持性信息的文档时,所有模型表现都明显提升,这表明RAG系统中常见的相似但不相关的文档会使模型混淆并降低性能。有趣的是,模型在处理明显不相关的随机文档时表现反而更好,说明它们更容易识别和过滤明显无关内容。



研究人员强调,在设计检索系统时需要平衡相关性和多样性,以减少信息冲突。他们也承认研究存在一些局限性,包括缺乏对提示变化和数据顺序影响的分析。该团队已公开数据集,以促进这一领域的进一步研究。

79863
收录于合集
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
次卡|沧州 木/电吉他一对一课程转让 线上线下均可
吉他课
¥2600
次卡|Hellokid纯欧美英语外教一对一
欧美英语外教一对一
¥12000
年卡|便宜转让
健身年卡+私教课
¥10000
次卡|低价转让
瑜伽
¥75
年卡|JS舞蹈(珠海井岸店)双项教练班年卡转让
古典舞,JAZZ,K-POP,HIPPOP
¥9000
年卡|注册会计师会计、审计、财管强化阶段课程转让
注册会计师
¥3680
次卡|广州奥园广场芒果健身私教课转让
康复课、常规私教课
¥7500
次卡|瑜伽课转让
小班课
¥4263
年卡|大刊牛文课转让
大刊牛文课
¥1000
年卡|26考研英语课程转让
考研课
¥600