语言:

• 英语 标签:
• pytorch
• 因果语言模型 许可证: apache-2.0 数据集:
• The Pile

注意：该模型已被Younes Belkada和Tim Dettmers在transformers中推出的load_in_8bit=True功能所取代。请参考此使用示例。此旧版模型专为transformers v4.15.0和pytorch 1.11构建。新版本可能兼容，但不提供支持。

8位权重量化的EleutherAI/gpt-j-6b模型

这是EleutherAI的GPT-J 60亿参数模型的一个修改版本，使其能够在Colab或类似桌面GPU（如单块1080Ti）上生成并微调模型。

运行方法如下：

__原版GPT-J__仅float32参数就占用22GB以上内存，且未计入梯度和优化器。即使全部转为16位，仍难以适配A6000和A100以外的单GPU环境。可通过TPU或CPU推理，但微调成本极高。

本版本通过以下技术使GPT-J能在约11GB显存的单GPU上运行和微调：

• 对大型权重张量采用动态8位量化，乘法运算时即时反量化
• 使用梯度检查点技术，每层仅存储一个激活值：显著降低内存占用，但训练速度降低30%
• 结合LoRA和8位Adam实现可扩展微调

换言之，所有大型权重矩阵以8位冻结，仅训练小型适配器和可选的一维张量（层归一化缩放因子、偏置项）。

8位量化影响模型质量吗？ 技术上存在影响，但实际效果可忽略。此笔记本测量的wikitext测试困惑度显示与原版GPT-J几乎无差别。量化模型甚至略优，但无统计学意义。

与其他8位方法不同，我们仅将8位用于存储，所有计算仍使用float16或float32。因此可利用非线性量化适配各权重分布。此类非线性量化不加速推理，但能大幅减少误差。

性能如何？ 检查点和反量化虽有开销，但意外可控。根据GPU和批次大小，量化模型比原版慢1-10%（叠加梯度检查点的30%开销）。主因是bitsandbytes的块状量化在GPU上极快。

如何微调模型？

建议从LoRA论文的原始超参数起步。另需注意：反量化开销与批次大小无关，因此批次越大训练效率越高。

哪里可免费训练？

Colab可行，但若分配K80，建议转用其他免费GPU平台：kaggle、aws sagemaker或paperspace。例如此kaggle笔记本使用更强力的P100实例。

此技术可用于其他模型吗？

模型通过此笔记本转换。可适配其他模型类型，但需注意某些模型使用自定义Linear和Embedding替代方案，需配套BNBWhateverWithAdapters实现。