论文概述
思维图谱（Graph of Thoughts, GoT）是一个突破性框架，将大型语言模型推理从链式（CoT）和树式（ToT）结构扩展到任意图结构。GoT 允许大型语言模型将生成的信息建模为图，其中信息单元（”大型语言模型思维”）是顶点，边表示依赖关系。这种灵活的结构能够处理需要复杂信息聚合、回溯和循环依赖的问题。实验表明，GoT 显著优于现有方法，在排序任务上实现了 62% 的质量改进，同时相比 ToT 降低了超过 31% 的成本。
论文信息：
- 发布时间：2023-08-18
- 作者：Maciej Besta, Nils Blach, Ales Kubicek等
- 机构：苏黎世联邦理工学院，雅盖隆大学
- 研究方向：提示工程，大型语言模型推理
- 核心技术：思维图谱（Graph of Thoughts）
研究背景
大型语言模型（LLM）在各类任务中展现出强大的能力，但如何有效引导模型进行复杂推理仍是一个挑战。本研究针对以下问题展开：
现有问题
- 传统提示方法在复杂推理任务上表现不佳
- 模型难以处理需要多步骤推理的问题
- 缺乏系统化的推理引导方法
研究动机
本研究旨在探索更有效的提示工程技术，提升大型语言模型在推理任务上的表现，特别关注思维图谱、GoT、推理等关键技术。
核心方法
方法概述
GoT 的核心思想是将推理建模为有向无环图（DAG）或更一般的图结构：（1）思维单元 - 由大型语言模型生成的中间推理步骤，每个作为图顶点，可以是文本/数字/结构化数据；（2）依赖关系 - 表示关系的图边，包括顺序（如 CoT）、并行分支（如 ToT）、聚合融合（GoT 独有）、循环反馈（GoT 独有）；（3）图操作 - 生成（创建新思维）、聚合（合并多个思维）、评分（评估质量）、回溯（撤销不理想的路径）；（4）执行策略 - 拓扑排序确定顺序，支持独立思维的并行执行，基于中间结果的动态图调整。与现有方法的关系：CoT（特殊情况：线性图）、ToT（特殊情况：树图）、GoT（最一般：任意图）。
本方法的核心在于通过结构化的提示设计，引导大型语言模型展现出更强的推理能力，无需额外的模型训练或微调。
关键创新点
创新 1：图结构推理：首次将大型语言模型推理扩展到任意图结构，超越了 CoT 和 ToT 的限制
创新 2：信息聚合：支持多个思维单元的聚合、转换和组合
创新 3：显著的性能提升：在排序上实现了 62% 的质量改进，相比 ToT 降低了超过 31% 的成本
创新 4：灵活性：适应需要循环依赖和信息融合的复杂问题
创新 5：通用框架：可以将现有方法（CoT、ToT）表示为特殊情况
技术特点
- 系统化设计：提供完整的方法论框架，可复现性强
- 广泛适用性：适用于多种推理任务（算术、常识、符号推理等）
- 零成本实现：无需模型微调，仅需调整提示格式
- 显著性能提升：在多个基准测试上取得突破性结果
- 可组合性：可与其他提示工程技术组合使用
实验结果
基准测试性能
评估内容：（1）排序 - GoT：相比 ToT 实现了 62% 的质量改进，降低了超过 31% 的成本，方法使用图结构进行归并排序；（2）集合操作 - 对多个集合的复杂操作（并集、交集、差集），GoT 通过信息聚合显著更好；（3）关键词计数 - 从多个段落聚合信息，GoT 允许并行处理然后聚合；（4）文档合并 - 从多个源合并信息，GoT 的聚合操作特别适合。性能分析：质量 - GoT 在需要信息聚合的任务上显著更好；成本 - 通过并行化和避免冗余计算而降低；灵活性 - 适应更广泛的问题类型。
性能分析
实验结果表明，该方法在多个主流基准测试上都取得了显著的性能提升，特别是在需要复杂推理的任务上表现突出。
关键发现
- 性能提升显著：在多个基准测试中取得了最先进（SOTA）或接近最先进的结果
- 规模效应明显：模型参数规模对方法效果有重要影响，通常需要 >100B 参数才能充分发挥效果
- 推理质量关键：生成的推理步骤质量直接影响最终结果的准确性
- 任务泛化性强：同一方法可以应用于不同类型的推理任务
实际应用
适用场景
- 数学推理：解决复杂的数学问题，包括应用题和逻辑题
- 常识推理：回答需要常识知识的问题
- 符号推理：处理逻辑符号和规则推理任务
- 编程问题：代码生成和算法设计
实现建议
在实际项目中应用思维图谱时，建议：
- 选择合适的示例：准备高质量的少样本示例，展示完整的推理过程
- 控制步骤粒度：根据问题复杂度调整推理步骤的详细程度
- 迭代优化：根据输出质量不断调整提示格式和示例
- 结合其他技术：可与自洽性（Self-Consistency）等技术组合使用以提高稳定性
代码示例
1 | # 基本提示模板 |
相关资源
- arXiv 论文：arXiv:2308.09687
- 相关论文：思维链提示、自洽性、思维树