LinearRAG: 基于线性图的大规模语料检索增强生成

Posted on

论文概述

LinearRAG是一种针对大规模语料库的新型检索增强生成框架，旨在解决当前RAG系统在处理大规模非结构化语料和不可靠知识图谱构建方面的局限性。该方法的核心创新在于构建了一个名为”三图”(Tri-Graph)的轻量级图结构，通过避免不稳定的关系建模，实现了与语料库规模呈线性关系的扩展能力。LinearRAG采用两阶段检索策略，在处理复杂推理任务时能够更准确地定位相关段落，有效减少了大语言模型的幻觉问题。

论文信息：

  • 发布时间：2025-10-11
  • 作者：Luyao Zhuang, Shengyuan Chen, Yilin Xiao, Huachi Zhou, Yujing Zhang, Hao Chen, Qinggang Zhang, Xiao Huang
  • 研究方向：上下文工程 (Context Engineering), 检索增强生成 (Retrieval-Augmented Generation)
  • 核心技术：三图架构 (Tri-Graph), 线性扩展 (Linear Scaling), 两阶段检索 (Two-Stage Retrieval)

研究背景

检索增强生成(RAG)系统在大语言模型应用中发挥着关键作用，但在大规模语料处理上仍面临诸多挑战。本研究针对以下问题展开：

现有问题

  • 传统知识图谱构建在大规模语料上的关系提取不稳定，错误率高
  • 知识图谱构建的计算复杂度随语料规模非线性增长，扩展性差
  • 现有RAG系统在处理海量非结构化文档时，检索精确度和效率难以兼顾
  • 复杂推理任务中，大语言模型的幻觉问题仍然严重

研究动机

本研究旨在探索一种可扩展的RAG框架，通过轻量级的图结构和高效的检索策略，实现大规模语料上的可靠知识检索，特别关注LinearRAG、三图架构 (Tri-Graph)、线性扩展能力 (Linear Scaling) 等关键技术。

核心方法

方法概述

LinearRAG通过构建三图(Tri-Graph)架构实现了对大规模语料的高效处理。该架构包含三个关键组件：(1) 实体图 - 仅提取实体，避免复杂的关系建模；(2) 共现图 - 记录实体在段落中的共现关系；(3) 段落图 - 连接实体与包含它们的段落。检索过程分为两个阶段：第一阶段根据查询激活相关实体集合，第二阶段通过全局重要性聚合算法，综合实体的图结构信息和局部相关性，对候选段落进行精准排序。这种设计的复杂度与语料规模呈线性关系，同时保持了检索的高精确度。

本方法的核心在于通过简化知识图谱构建（只提取实体，不建模关系）和创新的两阶段检索策略，实现了在大规模语料上的高效、可靠的知识检索和生成。

关键创新点

创新 1：提出三图(Tri-Graph)架构，使用轻量级实体提取避免不稳定的关系建模，实现线性扩展能力

创新 2：设计两阶段检索策略，结合实体激活和全局重要性聚合，提升检索精确度

创新 3：在四个数据集上显著优于基线模型，证明了方法的有效性和可扩展性

创新 4：为大规模语料的RAG应用提供了更经济、更可靠的知识图谱构建方案

创新 5：有效解决大语言模型的幻觉问题，增强复杂推理任务的性能

技术特点

  • 线性扩展性：计算复杂度与语料规模呈线性关系，支持海量文档处理
  • 轻量级构建：仅提取实体和共现关系，避免复杂的关系建模
  • 两阶段检索：结合图结构的全局视角和局部相关性，精准定位段落
  • 高可靠性：显著降低知识图谱构建的错误率
  • 经济高效：相比传统方法，大幅降低计算和存储成本

实验结果

Benchmark 性能

LinearRAG在四个基准数据集上进行了全面评估，在所有测试中都显著优于基线模型：(1) 多跳问答任务 - 在HotpotQA数据集上，检索精确度提升显著，EM分数和F1分数都达到新高；(2) 复杂推理任务 - 在2WikiMultihopQA上，通过更准确的段落定位，推理准确率大幅提升；(3) 大规模语料检索 - 在处理百万级文档时，检索延迟保持在可接受范围，展现出优秀的扩展性；(4) 消融实验 - 验证了三图架构和两阶段检索策略各自的贡献。关键发现：线性扩展能力使得系统可以处理更大规模的语料而不牺牲性能；轻量级的实体提取相比完整的关系提取，在精确度和效率上都有明显优势。

性能分析

实验结果表明，LinearRAG在多个主流基准测试上都取得了显著的性能提升，特别是在需要复杂推理的多跳问答任务上表现突出。系统的线性扩展性使其能够轻松应对大规模语料，为实际应用提供了可靠的技术基础。

关键发现

  • 线性扩展优势明显：与传统方法相比，LinearRAG的计算复杂度随语料规模线性增长，而非指数或多项式增长
  • 轻量级图谱更可靠：仅提取实体的策略显著降低了错误率，提升了系统的整体可靠性
  • 两阶段检索精确高效：全局重要性聚合算法有效结合了图结构信息和局部相关性
  • 适合大规模应用：系统设计特别适合需要处理海量文档的知识密集型应用场景

实际应用

适用场景

  • 企业知识库：构建和检索大规模企业内部文档
  • 学术研究助手：在海量论文中快速定位相关研究
  • 智能客服系统：从大规模产品文档中检索准确答案
  • 多跳问答系统：处理需要综合多个文档信息的复杂查询

实现建议

在实际项目中应用LinearRAG时，建议：

  1. 评估语料规模：确认需要处理的文档规模，LinearRAG特别适合百万级以上的大规模场景
  2. 选择实体提取工具：使用可靠的命名实体识别(NER)工具进行实体提取
  3. 构建三图结构：按照实体图、共现图、段落图的顺序构建知识图谱
  4. 优化检索参数：根据具体任务调整实体激活阈值和段落排序参数
  5. 监控系统性能：持续监控检索精确度和响应延迟，根据需要调优

技术实现框架

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# LinearRAG核心流程示例
class LinearRAG:
    def __init__(self, corpus):
        # 构建三图结构
        self.entity_graph = self.extract_entities(corpus)
        self.cooccurrence_graph = self.build_cooccurrence(corpus)
        self.passage_graph = self.link_passages(corpus)

    def retrieve(self, query):
        # 两阶段检索
        # 阶段1: 实体激活
        activated_entities = self.activate_entities(query)

        # 阶段2: 全局重要性聚合
        candidate_passages = self.get_candidate_passages(activated_entities)
        ranked_passages = self.global_importance_aggregation(
            query, activated_entities, candidate_passages
        )

        return ranked_passages

    def global_importance_aggregation(self, query, entities, passages):
        # 结合图结构的全局视角和局部相关性
        scores = []
        for passage in passages:
            # 计算实体重要性
            entity_importance = self.compute_entity_importance(
                passage, entities, self.entity_graph
            )
            # 计算局部相关性
            local_relevance = self.compute_relevance(query, passage)
            # 综合评分
            scores.append(entity_importance * local_relevance)

        return self.rank_by_scores(passages, scores)

相关资源

  • arXiv 论文：arXiv:2510.10114
  • 相关论文：GraphRAG、Knowledge Graph Construction、Multi-hop Question Answering
  • 相关技术：Retrieval-Augmented Generation、Entity Extraction、Graph-based Retrieval
© 2026 Generative AI Discovery All Rights Reserved.
Theme by hiero