论文概述
通用自适应提示（Universal Self-Adaptive Prompting, USP）通过实现自动提示设计的有效零样本学习来解决 Transformers 的架构限制。与依赖”一个提示适用所有”策略的传统方法不同，USP 对任务进行分类，并选择任务适当的查询和模型生成的响应作为伪示例，以完全自动化的方式将上下文学习泛化到零样本设置。
论文信息：
- 发布时间：2023-05-24
- 作者：Xingchen Wan, Ruoxi Sun, Hootan Nakhost等
- 机构：Google Research
- 研究方向：提示工程，大型语言模型推理
- 核心技术：零样本学习（Zero Shot Learning）
研究背景
大型语言模型（LLM）在各类任务中展现出强大的能力，但如何有效引导模型进行复杂推理仍是一个挑战。本研究针对以下问题展开：
现有问题
- 传统提示方法在复杂推理任务上表现不佳
- 模型难以处理需要多步骤推理的问题
- 缺乏系统化的推理引导方法
研究动机
本研究旨在探索更有效的提示工程技术，提升大型语言模型在推理任务上的表现，特别关注零样本学习、自适应提示、USP 等关键技术。
核心方法
方法概述
USP 通过三个主要组件运作：（1）任务分类：根据任务特征自动将给定的 NLP 任务分类为三个类别之一（分类、生成或推理）；（2）伪示例选择：对于每个任务类别，使用相应的选择器从小型无标注数据集中选择最合适的模型生成的查询和响应。这些作为伪示例；（3）零样本上下文学习：应用选择的伪示例来指导模型解决实际测试查询，有效地将上下文学习的优势带到零样本设置中。关键创新是在不需要任何标注数据或手动提示工程的情况下自动、任务自适应地选择示例。
本方法的核心在于通过结构化的提示设计，引导大型语言模型展现出更强的推理能力，无需额外的模型训练或微调。
关键创新点
创新 1：引入了 USP，一种专门为零样本学习量身定制的通用自动提示设计方法
创新 2：通过提示解决了 Transformer 架构在计算深度方面的基本限制
创新 3：开发了将 NLP 任务分类为三种主要类型的任务分类系统
创新 4：创建了选择合适伪示例的自动选择器机制
创新 5：在保持少样本级别性能的同时消除了对人工标注示例的需求
创新 6：在 40 多个任务中实现了与少样本基线相当或更优的性能
创新 7：仅需少量无标注数据和仅推理的大型语言模型访问
创新 8：在自然语言理解、生成和推理任务中展示了强大的结果
创新 9：使用 PaLM 和 PaLM 2 模型进行验证，显示出一致的改进
技术特点
- 系统化设计：提供完整的方法论框架，可复现性强
- 广泛适用性：适用于多种推理任务（算术、常识、符号推理等）
- 零成本实现：无需模型微调，仅需调整提示格式
- 显著性能提升：在多个基准测试上取得突破性结果
- 可组合性：可与其他提示工程技术组合使用
实验结果
基准测试性能
跨多样化 NLP 任务的综合评估：（1）自然语言理解：15 多个任务，包括情感分析、文本蕴涵、语义相似度；（2）自然语言生成：摘要、翻译、对话生成；（3）推理：逻辑推理、算术、常识推理。总共评估了 40 多个任务。使用不同规模的 PaLM 和 PaLM 2 模型进行实验。结果显示，USP 始终以显著的优势（通常为 10-20% 的改进）优于标准零样本基线，并实现了与精心设计的少样本提示相当或更好的性能。在需要更深入推理或领域适应的任务上表现特别强大。消融研究证实了任务分类和自适应选择组件的重要性。
性能分析
实验结果表明，该方法在多个主流基准测试上都取得了显著的性能提升，特别是在需要复杂推理的任务上表现突出。
关键发现
- 性能提升显著：在多个基准测试中取得了最先进（SOTA）或接近最先进的结果
- 规模效应明显：模型参数规模对方法效果有重要影响，通常需要 >100B 参数才能充分发挥效果
- 推理质量关键：生成的推理步骤质量直接影响最终结果的准确性
- 任务泛化性强：同一方法可以应用于不同类型的推理任务
实际应用
适用场景
- 数学推理：解决复杂的数学问题，包括应用题和逻辑题
- 常识推理：回答需要常识知识的问题
- 符号推理：处理逻辑符号和规则推理任务
- 编程问题：代码生成和算法设计
实现建议
在实际项目中应用零样本学习时，建议：
- 选择合适的示例：准备高质量的少样本示例，展示完整的推理过程
- 控制步骤粒度：根据问题复杂度调整推理步骤的详细程度
- 迭代优化：根据输出质量不断调整提示格式和示例
- 结合其他技术：可与自洽性（Self-Consistency）等技术组合使用以提高稳定性
代码示例
1 | # 基本提示模板 |
相关资源
- arXiv 论文：arXiv:2305.14926
- 相关论文：思维链提示、自洽性、思维树