论文概述
思维树（Tree of Thoughts, ToT）是一个突破性框架，它通过允许语言模型通过树结构搜索探索多条推理路径，从而推广了思维链（Chain of Thought）方法。与 CoT 的线性逐token生成不同，ToT 允许大型语言模型通过考虑多条不同的推理路径、自我评估选择，以及在必要时回溯来进行审慎的决策制定，以做出全局性选择。这使得能够解决需要探索、战略性前瞻或初始决策起关键作用的复杂任务。
论文信息：
- 发布时间：2023-05-17
- 作者：Shunyu Yao, Dian Yu, Jeffrey Zhao等
- 机构：未知
- 研究方向：提示工程，大型语言模型推理
- 核心技术：思维树（Tree of Thoughts）
研究背景
大型语言模型（LLM）在各类任务中展现出强大的能力，但如何有效引导模型进行复杂推理仍是一个挑战。本研究针对以下问题展开：
现有问题
- 传统提示方法在复杂推理任务上表现不佳
- 模型难以处理需要多步骤推理的问题
- 缺乏系统化的推理引导方法
研究动机
本研究旨在探索更有效的提示工程技术，提升大型语言模型在推理任务上的表现，特别关注思维树、思维链、审慎推理等关键技术。
核心方法
方法概述
思维树通过允许大型语言模型在树结构中探索多条推理路径，从而推广了思维链。在每一步，模型生成多个候选思维，通过自我评估对它们进行评价，并使用搜索算法（BFS/DFS）来决定下一步的行动方向。该框架支持前瞻和回溯，实现全局优化而非贪婪的局部决策。
本方法的核心在于通过结构化的提示设计，引导大型语言模型展现出更强的推理能力，无需额外的模型训练或微调。
关键创新点
创新 1：引入了思维树（ToT）框架，通过树结构推理扩展了思维链
创新 2：实现了将连贯的文本单元（思维）作为中间步骤来探索，朝向问题解决
创新 3：在 Game of 24 任务上达到了 74% 的成功率（而 GPT-4 使用 CoT 仅为 4%）
创新 4：通过自我评估和回溯展示了有效的审慎决策制定
创新 5：为需要非平凡规划或搜索的任务提供了系统化的方法
技术特点
- 系统化设计：提供完整的方法论框架，可复现性强
- 广泛适用性：适用于多种推理任务（算术、常识、符号推理等）
- 零成本实现：无需模型微调，仅需调整提示格式
- 显著性能提升：在多个基准测试上取得突破性结果
- 可组合性：可与其他提示工程技术组合使用
实验结果
基准测试性能
在三个需要非平凡规划的新任务上进行了评估：（1）Game of 24 - 使用 GPT-4 达到 74% 成功率，而 CoT 仅为 4%；（2）创意写作 - 生成带约束的连贯段落；（3）迷你填字游戏 - 解决 5x5 填字游戏。结果表明，ToT 显著增强了需要战略性探索的任务上的问题解决能力。
性能分析
实验结果表明，该方法在多个主流基准测试上都取得了显著的性能提升，特别是在需要复杂推理的任务上表现突出。
关键发现
- 性能提升显著：在多个基准测试中取得了最先进（SOTA）或接近最先进的结果
- 规模效应明显：模型参数规模对方法效果有重要影响，通常需要 >100B 参数才能充分发挥效果
- 推理质量关键：生成的推理步骤质量直接影响最终结果的准确性
- 任务泛化性强：同一方法可以应用于不同类型的推理任务
实际应用
适用场景
- 数学推理：解决复杂的数学问题，包括应用题和逻辑题
- 常识推理：回答需要常识知识的问题
- 符号推理：处理逻辑符号和规则推理任务
- 编程问题：代码生成和算法设计
实现建议
在实际项目中应用思维树时，建议：
- 选择合适的示例：准备高质量的少样本示例，展示完整的推理过程
- 控制步骤粒度：根据问题复杂度调整推理步骤的详细程度
- 迭代优化：根据输出质量不断调整提示格式和示例
- 结合其他技术：可与自洽性（Self-Consistency）等技术组合使用以提高稳定性
代码示例
1 | # 基本提示模板 |
相关资源
- arXiv 论文：arXiv:2305.10601
- 相关论文：思维链提示、自洽性、思维树