论文信息 标题: ICLR: In-Context Learning of Representations 作者: Core Francisco Park, Andrew Lee, Ekdeep Singh Lubana, Yongyi Yang, Maya Okawa 机构: Harvard University, Stanford University 发表: ICLR 2025 (Poster) 链接: arXiv | PDF 核心贡献本文揭示了大语言模型一个惊人的能力：当提供足够的上下文示例时，模型能够突然重组其内部表征，从预训练时学到的语义结构转向上下文定义的全新语义。通过精巧设计的图追踪任务，作者发现这种表征重组具有突现性（emergent），并提出了基于能量最小化的理论解释。这项ICLR 2025的研究为理解in-context learning的内部机制提供了新...

阅读全文

论文信息 标题: In-Context Learning Demonstration Selection via Influence Analysis 作者: Vinay M.S., Minh-Hao Van, Xintao Wu 机构: University of Arkansas 发表: arXiv preprint 链接: arXiv | PDF 核心贡献InfICL利用影响函数(Influence Functions)分析训练样本对模型预测的影响,识别最有价值的ICL示例。相比随机选择或embedding相似度,InfICL能找到真正”有影响力”的示例,在多个数据集上提升2-5%准确率,且无需模型微调。 问题与背景示例选择的难题ICL性能的高度敏感性ICL效果严重依赖示例选择: 123# 相同任务,不同示例examples_A = [good_example_1, go...

阅读全文

从错误中进行上下文原理学习论文概述本文是一篇关于大型语言模型 (LLM)的研究论文,由 Tianjun Zhang 等8位研究者共同完成。 LEAP(学习原理)引入了一种新颖的上下文学习 (In-Context Learning)范式,从错误中学习而非仅从正确示例学习。通过有意诱导错误、反思错误并推导出明确的任务特定原理,LEAP 显著提升了大型语言模型 (LLM)在推理任务上的性能。这种方法模仿了人类学习,即我们往往从错误中学到的比从成功中学到的更多。 研究目标本研究的主要目标包括: 引入 LEAP,一种从诱导错误中学习显式原理的新型上下文学习 (In-Context Learning)范式 证明从错误中学习比仅从正确示例学习更有效 提出三阶段流程:诱导错误、推导原理、将原理应用于新查询 研究背景当前挑战 推理能力不足:模型在复杂推理任务上表现欠佳 多步推理困难:难以处理需要多...

阅读全文

论文概述通用自适应提示（Universal Self-Adaptive Prompting, USP）通过实现自动提示设计的有效零样本学习来解决 Transformers 的架构限制。与依赖”一个提示适用所有”策略的传统方法不同，USP 对任务进行分类，并选择任务适当的查询和模型生成的响应作为伪示例，以完全自动化的方式将上下文学习泛化到零样本设置。 论文信息： 发布时间：2023-05-24 作者：Xingchen Wan, Ruoxi Sun, Hootan Nakhost等 机构：Google Research 研究方向：提示工程，大型语言模型推理 核心技术：零样本学习（Zero Shot Learning） 研究背景大型语言模型（LLM）在各类任务中展现出强大的能力，但如何有效引导模型进行复杂推理仍是一个挑战。本研究针对以下问题展开： 现有问题 传统提示方法在复杂推理任务上...

阅读全文

论文概述GPT-3是一个拥有1750亿参数的自回归语言模型，比之前任何非稀疏语言模型大10倍。这篇突破性论文证明了足够大规模的语言模型可以仅通过文本交互（少样本示例）在各种NLP任务上实现强大性能，无需任何梯度更新或微调 (Fine-Tuning)。GPT-3引入了上下文学习 (In-Context Learning) 的概念，从根本上改变了我们对语言模型能力的理解，开启了大型语言模型时代。 论文信息： 发布时间：2020-05-28 作者：Tom B. Brown, Benjamin Mann, Nick Ryder等 机构：OpenAI 研究方向：提示工程 (Prompt Engineering), 大型语言模型推理 (LLM Reasoning) 核心技术：上下文学习 (In Context Learning) 研究背景大型语言模型在各类任务中展现出强大的能力，但传统方法通...

阅读全文