QLoRA：量化大型语言模型的高效微调

Posted on 五月 23, 2023

论文概述

QLoRA 是华盛顿大学提出的一项里程碑式量化微调技术，能够在消费级硬件上高效微调大规模语言模型。关键创新在于结合了三项技术：（1）针对正态分布权重优化的 4 位 NormalFloat（NF4）量化，（2）双重量化以减少量化常数的内存占用，（3）使用 NVIDIA 统一内存的分页优化器来处理内存峰值。QLoRA 能够在单个 48GB GPU 上微调 650 亿参数模型，同时保持完整的 16 位微调性能。生成的 Guanaco 模型系列在 Vicuna 基准测试上达到了 ChatGPT 性能的 99.3%。该论文发表于 NeurIPS 2023，获得超过 2,800 次引用，QLoRA 已成为可访问的大型语言模型微调的事实标准，也是 bitsandbytes 库的基础。

论文信息：

发布时间：2023-05-23
作者：Tim Dettmers, Artidoro Pagnoni, Ari Holtzman等
机构：华盛顿大学
研究方向：提示工程，大型语言模型推理
核心技术：量化微调（Quantization Finetuning）

研究背景

大型语言模型（LLM）在各类任务中展现出强大的能力，但如何有效引导模型进行复杂推理仍是一个挑战。本研究针对以下问题展开：

现有问题

传统提示方法在复杂推理任务上表现不佳
模型难以处理需要多步骤推理的问题
缺乏系统化的推理引导方法

研究动机

本研究旨在探索更有效的提示工程技术，提升大型语言模型在推理任务上的表现，特别关注 QLoRA、4位量化、NF4 等关键技术。

核心方法

方法概述

QLoRA 通过冻结的 4 位量化预训练大型语言模型将梯度反向传播到可训练的低秩适配器（LoRA）中。三项核心创新协同工作：（1）NF4 量化 - 权重被量化为 4 位 NormalFloat，在正态分布的分位数中具有相等的 bin 大小。这是最优的，因为预训练神经网络权重呈正态分布。与均匀量化不同，NF4 最小化了高斯数据的量化误差。（2）双重量化 - 量化常数（缩放因子）本身被量化为 8 位，然后仅在需要时反量化。对于块大小为 64，这节省了 0.37 位/参数。对于 650 亿参数模型，这节省了约 3GB。（3）分页优化器 - 使用 NVIDIA 统一内存在 CPU 和 GPU 之间自动进行页到页传输。当 GPU 内存在优化器状态更新或梯度检查点峰值期间耗尽时，数据会临时卸载到 CPU RAM，无需手动干预。冻结的 4 位基础模型存储在 GPU 内存中，而梯度通过它流向可训练的 LoRA 适配器（通常为模型参数的 0.1-1%）。这种方法在使用 4 倍更少内存的同时，保留了完整 16 位微调的泛化能力。

本方法的核心在于通过结构化的提示设计，引导大型语言模型展现出更强的推理能力，无需额外的模型训练或微调。

关键创新点

创新 1：开创了 4 位 NormalFloat（NF4）数据类型，该数据类型在信息理论上对正态分布权重是最优的，实现了比标准 4 位整数或浮点更好的量化效果

创新 2：引入了双重量化技术，对量化常数本身进行量化，平均每个参数节省 0.37 位（对于 650 亿参数模型约 3GB）

创新 3：开发了使用 NVIDIA 统一内存的分页优化器，通过 CPU-GPU 页到页传输自动处理梯度检查点期间的内存峰值

创新 4：证明了当与 LoRA 适配器结合时，4 位量化基础模型可以匹配完整精度微调性能 - 没有精度下降

创新 5：创建了 Guanaco 模型系列，达到了 ChatGPT 性能的 99.3%，并在 Vicuna 基准测试上超越了所有以前的开源模型，仅使用单个 GPU 在 24 小时内完成

创新 6：实现了大型语言模型微调的民主化：650 亿参数模型在 48GB GPU 上运行（而完整的 16 位微调需要 780GB），330 亿参数模型在 24GB 消费级 GPU 上运行

技术特点

系统化设计：提供完整的方法论框架，可复现性强
广泛适用性：适用于多种推理任务（算术、常识、符号推理等）
零成本实现：无需模型微调，仅需调整提示格式
显著性能提升：在多个基准测试上取得突破性结果
可组合性：可与其他提示工程技术组合使用

实验结果

基准测试性能

评估内容包括：（1）微调保真度 - QLoRA 4 位在多个基准测试（MMLU、BBH、AGIEval）上匹配完整精度 16 位微调性能，显示训练期间的量化没有造成退化；（2）聊天机器人性能 - 使用 QLoRA 训练的 Guanaco-65B 在 Vicuna 基准测试上达到了 ChatGPT 性能的 99.3%，超越了 Alpaca、Vicuna-13B 和所有以前的开源模型；（3）指令数据集分析 - 系统评估了 8 个指令数据集（FLAN v2、OASST1、HH-RLHF 等）在 1,000 多个模型上；发现 OASST1 和 Guanaco 数据集产生最佳聊天机器人性能，尽管比 FLAN 小 1,000 倍；（4）模型缩放 - 在多个模型大小上验证：70 亿、130 亿、330 亿、650 亿参数；较大的模型从高质量指令数据中受益更多；（5）内存效率 - 650 亿参数模型微调仅需 48GB，而完整 16 位需要 780GB；330 亿参数模型适合 24GB 消费级 GPU；（6）训练速度 - 在单个 A100 GPU 上 24 小时内产生最先进的聊天机器人；（7）量化数据类型 - NF4 在准确性上优于 4 位整数和浮点量化；（8）消融研究 - 双重量化增加的开销最小（<0.5%），同时节省 3GB；分页优化器在没有性能成本的情况下防止 OOM 错误。关键发现：将 4 位量化与 LoRA 结合能够实现可访问的微调，而不会牺牲质量。

性能分析

实验结果表明，该方法在多个主流基准测试上都取得了显著的性能提升，特别是在需要复杂推理的任务上表现突出。

关键发现

性能提升显著：在多个基准测试中取得了最先进（SOTA）或接近最先进的结果
规模效应明显：模型参数规模对方法效果有重要影响，通常需要 >100B 参数才能充分发挥效果
推理质量关键：生成的推理步骤质量直接影响最终结果的准确性
任务泛化性强：同一方法可以应用于不同类型的推理任务

实际应用

适用场景

数学推理：解决复杂的数学问题，包括应用题和逻辑题
常识推理：回答需要常识知识的问题
符号推理：处理逻辑符号和规则推理任务
编程问题：代码生成和算法设计

实现建议

在实际项目中应用量化微调时，建议：

选择合适的示例：准备高质量的少样本示例，展示完整的推理过程
控制步骤粒度：根据问题复杂度调整推理步骤的详细程度
迭代优化：根据输出质量不断调整提示格式和示例
结合其他技术：可与自洽性（Self-Consistency）等技术组合使用以提高稳定性

代码示例

# 基本提示模板
prompt_template = '''
问题：{question}

让我们逐步思考：
1. [第一步推理]
2. [第二步推理]
3. [得出结论]

答案：{answer}
'''