蚂蚁集团发布针对多跳问答任务的增强型检索-生成(RAG)框架HANRAG

新技术3个月前发布 小马良
90 0

蚂蚁集团发布新型框架HANRAG,这是一个针对多跳问答任务的增强型检索-生成(RAG)框架,通过结合启发式方法和强大的“启示者”(Revelator)主代理,高效处理各种复杂性的问题,提高多跳问答系统在处理复杂查询时的准确性和效率。

例如,对于一个复杂的多跳问题,如“谁是纳米比亚的第一任总统的继任者?”,HANRAG 能够通过逐步检索和生成,最终得出准确答案。与传统的 RAG 方法相比,HANRAG 在处理多跳查询时表现出更高的准确性和效率。

蚂蚁集团发布针对多跳问答任务的增强型检索-生成(RAG)框架HANRAG

主要功能

  1. 查询路由:HANRAG 能够根据查询的复杂性将其路由到相应的处理链,包括直接回答、单步检索、复合查询处理和复杂查询处理。
  2. 复合查询分解:对于复合查询(包含多个子查询的问题),HANRAG 能够将其分解为多个独立的子查询,并并行处理每个子查询。
  3. 复杂查询细化:对于复杂查询(需要多步逻辑推理的问题),HANRAG 能够逐步细化子查询,并在每一步中进行检索和生成。
  4. 噪声过滤:HANRAG 通过评估检索到的文档与查询的相关性,过滤掉无关的噪声文档,确保传递给生成模型的信息准确无误。

主要特点

  1. 启发式方法:HANRAG 引入了一种启发式方法来处理不同类型的查询,提高了系统的适应性和鲁棒性。
  2. 高效的复合查询处理:通过并行检索机制,HANRAG 能够高效地处理复合查询,减少了检索步骤。
  3. 逐步细化复杂查询:HANRAG 能够逐步细化复杂查询中的子查询,确保每一步的检索和生成都基于最相关的信息。
  4. 强大的噪声抵抗能力:通过相关性评估,HANRAG 能够过滤掉与查询无关的噪声文档,提高了生成答案的准确性。

工作原理

HANRAG 的工作原理基于以下几个关键步骤:

  1. 查询路由:HANRAG 首先将查询路由到相应的处理链,包括直接回答、单步检索、复合查询处理和复杂查询处理。
  2. 复合查询分解:对于复合查询,HANRAG 将其分解为多个独立的子查询,并并行处理每个子查询。
  3. 复杂查询细化:对于复杂查询,HANRAG 逐步细化子查询,并在每一步中进行检索和生成。
  4. 噪声过滤:HANRAG 通过评估检索到的文档与查询的相关性,过滤掉无关的噪声文档,确保传递给生成模型的信息准确无误。
  5. 生成答案:最终,HANRAG 将所有相关信息传递给生成模型,生成最终答案。

测试结果

实验结果表明,HANRAG 在多个基准测试中表现出色,特别是在多跳问答任务中。具体结果如下:

  • 单跳查询:HANRAG 在 SQuAD、Natural Questions 和 TriviaQA 数据集上均取得了最优或接近最优的结果,与 Adaptive-RAG 相比,EM、F1 和 Accuracy 分别提高了 12.2%、6.83% 和 20.13%。
  • 复杂查询:在 HotpotQA、2WikiMultihopQA 和 MuSiQue 数据集上,HANRAG 的 EM、F1 和 Accuracy 分别比 Adaptive-RAG 提高了 6.67%、6.34% 和 16.17%。
  • 复合查询:在复合查询基准测试中,HANRAG 的 Accuracy 比 Adaptive-RAG 提高了 19.63%,并且显著减少了检索步骤。
© 版权声明

相关文章

暂无评论

none
暂无评论...