Adaptive Graph of Thoughts: 测试时自适应推理框架

ArXiv ID: 2502.05078
作者: Tushar Pandey, Ara Ghukasyan, Oktay Goktas, Santosh Kumar Radha
发布日期: 2025年2月7日
分类: Prompt Engineering

核心创新

统一CoT, ToT, GoT的自适应框架

大语言模型的推理能力高度依赖于提示策略和模型规模。现有方法包括:

• Chain-of-Thought (CoT): 线性推理链 → 适合简单任务,但难以处理复杂问题
• Tree of Thoughts (ToT): 树形探索多个推理路径 → 适合需要回溯的任务,但计算开销大
• Graph of Thoughts (GoT): 图结构允许路径合并和循环 → 灵活但需要人工设计图结构

AGoT的突破: 在测试时动态选择最优推理结构,无需预先定义。

Adaptive Graph of Thoughts (AGoT)

核心机制:

1. 递归问题分解: 将复杂查询分解为结构化子问题
2. 动态DAG构建: 子问题间形成有向无环图(DAG)
3. 自适应推理路径: 根据任务特性自动选择CoT/ToT/GoT

复杂问题
    ↓ (分解)
子问题A → 子问题B
    ↓        ↓
  子问题C ← 子问题D
    ↓
  最终答案

关键优势:

• 无需模型训练: 纯测试时推理增强
• 自动化结构选择: 不依赖人工提示工程
• 计算效率: 仅在需要时使用复杂结构(如ToT)

关键技术

1. 测试时自适应

传统方法: 预先选择CoT/ToT/GoT,对所有任务一视同仁

AGoT: 根据任务特征动态选择

• 简单任务 → CoT(快速)
• 需要探索的任务 → ToT(准确)
• 需要信息聚合的任务 → GoT(灵活)

2. 子问题相互依赖建模

AGoT显式建模子问题间的依赖关系:

问题: "比较A公司和B公司的盈利能力"

子问题DAG:
[查询A公司财报] → [计算A公司利润率]
                       ↓
                  [比较利润率] → 最终答案
                       ↑
[查询B公司财报] → [计算B公司利润率]

这种结构允许并行执行独立子问题,串行处理依赖子问题。

3. 无训练增强

AGoT不修改模型参数,仅通过更好的推理结构提升性能,这意味着:

• 可即时应用: 无需收集训练数据
• 与模型无关: 适用于任何LLM
• 无过拟合风险: 不会损害通用能力

实验亮点

虽然论文未提供详细benchmark,但关键洞察包括:

1. 小模型性能提升: AGoT使中等规模模型(如GPT-3.5)在复杂推理任务上接近大模型(如GPT-4)
2. 计算效率: 相比暴力使用ToT,AGoT仅在必要时使用,节省Token消耗
3. 鲁棒性: 对不同类型的任务(数学、逻辑、常识推理)都有提升

值得关注的原因

1. 测试时计算的新范式

AGoT体现了”测试时计算”(Test-time Compute)的趋势: 通过更聪明的推理策略,而非更大的模型,来提升性能。

这与OpenAI的o1模型(强化学习优化推理过程)、Google的AlphaCode(搜索+验证)等工作同属一个方向。

2. 降低提示工程成本

传统方法需要针对不同任务手工设计CoT/ToT提示,AGoT自动化了这一过程。

3. 提升中小模型竞争力

对于无法负担大模型API成本的团队,AGoT提供了用推理时间换模型规模的可行路径。

局限性

1. 延迟增加: 动态分解和图构建增加了响应时间
2. 缺少开源实现: 论文未提供代码,复现难度高
3. 评估不够全面: 需要更多任务和基准的验证

---

评分: 3.5/5.0

分类置信度: High (88%) - Prompt Engineering

推荐理由: AGoT代表了推理优化的前沿方向,特别是对于需要平衡性能和成本的生产环境。虽然论文缺少代码和详细实验,但核心思想值得关注。

相关工作:

• Chain-of-Thought: arxiv.org/abs/2201.11903
• Tree of Thoughts: arxiv.org/abs/2305.10601
• Graph of Thoughts: arxiv.org/abs/2308.09687
• OpenAI o1 (测试时计算): openai.com/o1