Chain-of-Thought Reasoning Without Prompting
ArXiv ID: 2402.10200作者: Xuezhi Wang, Denny Zhou发布日期: 2024-02-15
摘要大语言模型(LLM)能否在没有链式思维(CoT)等提示技术的情况下有效推理?本文揭示了一个令人惊讶的发现:CoT推理路径本质上就存在于大语言模型中,只需改变解码过程就能引出,无需任何提示。与选择最可能下一个标记的标准贪婪解码不同,我们研究了top-k序列中的替代标记。我们的实验表明,这些替代路径经常包含CoT风格的推理,即使模型没有被明确提示进行逐步推理。我们展示了替代序列中CoT路径的存在与模型置信度相关,并且模型通常具有在默认贪婪输出中未表达的内在推理能力。这一发现具有重要意义:它表明大语言模型拥有可通过解码策略而非提示工程访问的潜在推理能力,并提供了一种在没...
CoT Reasoning Without Prompting: 解码即推理
论文信息
标题: Chain-of-Thought Reasoning Without Prompting
作者: Xuezhi Wang, Denny Zhou
机构: Google DeepMind
发表: arXiv preprint
链接: arXiv | PDF
核心贡献本文揭示CoT推理路径其实隐含在预训练模型中,无需特殊prompt即可通过改变解码策略触发。通过分析top-k候选token,发现CoT路径频繁出现在高概率分支中。这一发现挑战了”prompting是必需的”的传统观念,为理解模型的内在推理能力提供新视角。
核心洞察传统观点的挑战传统认知：CoT推理需要特殊的prompt触发:
12"Let's think step by step" → 模型生成推理无此prompt → 模型直接给答案...