语言模型是少样本学习者（GPT-3）

论文概述GPT-3是一个拥有1750亿参数的自回归语言模型，比之前任何非稀疏语言模型大10倍。这篇突破性论文证明了足够大规模的语言模型可以仅通过文本交互（少样本示例）在各种NLP任务上实现强大性能，无需任何梯度更新或微调 (Fine-Tuning)。GPT-3引入了上下文学习 (In-Context Learning) 的概念，从根本上改变了我们对语言模型能力的理解，开启了大型语言模型时代。 论文信息： 发布时间：2020-05-28 作者：Tom B. Brown, Benjamin Mann, Nick Ryder等 机构：OpenAI 研究方向：提示工程 (Prompt Engineering), 大型语言模型推理 (LLM Reasoning) 核心技术：上下文学习 (In Context Learning) 研究背景大型语言模型在各类任务中展现出强大的能力，但传统方法通...

阅读全文