什么使上下文学习在数学推理中有效：理论分析

什么使上下文学习在数学推理中有效：理论分析论文概述本文是一篇关于推理能力的研究论文，由 Jiayu Liu 等6位研究者共同完成。 本文提供了首个关于上下文学习（In-Context Learning, ICL）在大语言模型数学推理中有效性的理论分析。虽然少样本示例有时会带来负面性能，其有效性仍不可靠，但这项工作证明了推理效能可以通过面向大语言模型的语义相似性和示例的推理稳定性来限定。基于这一理论基础，作者提出了 LMS3，一种示例选择方法，能够自适应地为不同大语言模型选择最相关的样本，并包含一种新颖的自动拒绝机制来过滤不合适的示例。该方法在多个数据集上实现了一致的改进，而现有方法在这些数据集上均已失败。 研究目标本研究的主要目标包括： 首次通过语义相似性和推理稳定性界定上下文学习推理效能的理论分析 证明理论框架适用于单样本和少样本场景 提出具有理论基础的 LMS3 示例选择方法 ...

阅读全文