许可协议：Apache-2.0
标签：

• 文本生成图像
• SVDQuant
• FLUX.1-schnell
• INT4
• FLUX.1
• 扩散模型
• 量化
• ICLR2025
  语言：
• 英文
  基础模型：
• black-forest-labs/FLUX.1-schnell
  基础模型关系：量化版本
  管道标签：文本生成图像
  数据集：
• mit-han-lab/svdquant-datasets
  库名称：diffusers

量化工具库： DeepCompressor   推理引擎： Nunchaku

SVDQuant是一种针对4比特权重和激活的后训练量化技术，能有效保持视觉保真度。在12B参数的FLUX.1-dev模型上，相比BF16模型实现了3.6倍的内存压缩。通过消除CPU卸载，在16GB显存的笔记本4090 GPU上比16位模型提速8.7倍，比NF4 W4A16基线快3倍。在PixArt-∑模型上，其视觉质量显著优于其他W4A4甚至W4A8基线。"E2E"表示包含文本编码器和VAE解码器的端到端延迟。

svdq-int4-flux.1-schnell是FLUX.1-schnell的INT4量化版本，可根据文本描述生成图像。

方法

量化方法——SVDQuant

SVDQuant工作流程概览。阶段1：原始激活X和权重W均包含异常值，导致4比特量化困难。阶段2：将激活中的异常值迁移至权重，更新后的激活更易量化，但权重难度增加。阶段3：通过SVD将权重分解为低秩分量和残差，低秩分支以16比特精度运行从而缓解量化压力。

Nunchaku引擎设计

(a) 原始方案中，秩为32的低秩分支会因降维投影额外读取16比特输入和升维投影额外写入16比特输出，导致57%延迟开销。Nunchaku通过内核融合优化该开销。(b) 降维投影与量化内核共享输入，升维投影与4比特计算内核共享输出。通过融合前两组和后两组内核减少数据移动开销。

模型描述

• 开发团队： 麻省理工学院、英伟达、卡内基梅隆大学、普林斯顿大学、加州大学伯克利分校、上海交通大学及Pika Labs
• 模型类型： INT4权重激活模型（W4A4）
• 模型大小： 6.64GB
• 分辨率要求： 像素数需为65,536的整数倍
• 许可协议： Apache-2.0

使用方式

Diffusers

请按mit-han-lab/nunchaku说明配置环境，随后运行：

import torch  
from diffusers import FluxPipeline  
from nunchaku.models.transformer_flux import NunchakuFluxTransformer2dModel  

transformer = NunchakuFluxTransformer2dModel.from_pretrained("mit-han-lab/svdq-int4-flux.1-schnell")  
pipeline = FluxPipeline.from_pretrained(  
    "black-forest-labs/FLUX.1-schnell", transformer=transformer, torch_dtype=torch.bfloat16  
).to("cuda")  
image = pipeline(  
    "举着'Hello World'标牌的猫咪", width=1024, height=1024, num_inference_steps=4, guidance_scale=0  
).images[0]  
image.save("flux.1-schnell-int4.png")  

Comfy UI

详见comfyui/README.md

限制

• 仅支持NVIDIA sm_86（安培架构：RTX 3090/A6000）、sm_89（Ada架构：RTX 4090）和sm_80（A100）GPU，详见此问题
• 细节表现可能与BF16模型存在轻微差异

引用

若此模型对您的研究有帮助，请引用：

@inproceedings{  
  li2024svdquant,  
  title={SVDQuant：通过低秩分量吸收异常值的4比特扩散模型量化技术},  
  author={李*, 牧阳 and 林*, 宇君 and 张*, 哲凯 and 蔡天乐 and 李修宇 and 郭俊贤 and 谢恩泽 and 孟晨霖 and 朱俊彦 and 韩松},  
  booktitle={第十三届国际学习表征会议},  
  year={2025}  
}