微调后的语言模型是零样本学习者（FLAN）

论文概述FLAN（Finetuned Language Model for Instruction Following，遵循指令的微调语言模型）是指令微调领域的开创性工作。这篇论文证明，通过自然语言指令描述的多任务微调可以显著提高在未见任务上的零样本性能。通过在60+个NLP任务上进行指令微调，FLAN 137B在25个评估任务中的20个上超过了零样本175B GPT-3。这项工作证明了指令微调是将语言模型转变为更通用任务执行器的强大范式。 论文信息： 发布时间：2021-09-03 作者：Jason Wei, Maarten Bosma, Vincent Y. Zhao等 机构：Google Research, Google Brain 研究方向：提示工程、LLM推理 核心技术：指令微调（Instruction Tuning） 研究背景大型语言模型（LLM）虽然强大，但在零样本...

阅读全文