更宽还是更深？通过自适应分支树搜索扩展 LLM 推理时计算
ArXiv ID: 2503.04412作者: Yuichi Inoue, Kou Misaki, Yuki Imajuku, So Kuroki, Taishi Nakamura, Takuya Akiba机构: Preferred Networks发布日期: 2025-03-06接收: ICLR 2025 Workshop, NeurIPS 2025 Spotlight
摘要在 LLM 推理时扩展（test-time scaling）中，一个核心问题是：应该探索更多不同的回答（更宽），还是深入改进已有回答（更深）？本文提出的 AB-MCTS（Adaptive Branching MCTS） 框架通过自适应地平衡这两种策略，在编码任务上显著优于重复采样和标准 MCTS 方法。
核心问题推理时扩展的两难选择123456...
推理时计算扩展：比扩展模型参数更有效的优化策略
Abstract让大语言模型（LLM）能够通过使用更多推理时计算来改进输出，是构建能够在开放式自然语言任务上持续自我改进的通用agent的关键一步。本文研究了LLM推理时计算的扩展规律，重点回答一个问题：如果允许LLM使用固定但非平凡的推理时计算量，它能在挑战性提示上将性能提升多少？我们发现，在许多任务上，适当地扩展推理时计算可以比扩展模型参数更有效地提升性能。这一发现为LLM的发展开辟了新的方向——不是一味追求更大的模型，而是让模型学会如何更好地”思考”。
Key Contributions
推理时计算扩展定律：首次系统性地研究了LLM推理时计算的扩展规律，揭示了在固定模型参数下，增加推理时计算如何影响性能
与参数扩展的对比：通过大量实验证明，在许多任务上，扩展推理时计算比扩展模型参数更有效且成本更低
多种扩展策略对比：评估了best-of-N采样、beam search、sequ...