许可证：其他 许可证名称：flux-1-dev非商业许可证 标签：

• 文本生成图像
• SVDQuant
• FLUX.1-dev
• INT4
• FLUX.1
• 扩散模型
• 量化
• ICLR2025 语言：
• 英文 基础模型：
• black-forest-labs/FLUX.1-dev 基础模型关系：量化版本 管道标签：文本生成图像 数据集：
• mit-han-lab/svdquant-datasets 库名称：diffusers

量化工具库： DeepCompressor   推理引擎： Nunchaku

SVDQuant是一种针对4比特权重和激活的后训练量化技术，能很好地保持视觉保真度。在120亿参数的FLUX.1-dev模型上，相比BF16模型实现了3.6倍的内存压缩。通过消除CPU卸载，在16GB显存的笔记本4090 GPU上比16位模型提速8.7倍，比NF4 W4A16基线快3倍。在PixArt-∑模型上，其视觉质量显著优于其他W4A4甚至W4A8基线。"端到端"延迟包含文本编码器和VAE解码器的耗时。

方法

量化方法——SVDQuant

SVDQuant工作流程。阶段1：原始激活值X和权重W均存在离群值，导致4比特量化困难。阶段2：将激活中的离群值迁移至权重，更新后的激活更易量化而权重更难。阶段3：通过SVD将权重分解为低秩分量和残差，低秩分支以16比特精度运行从而缓解量化难度。

Nunchaku引擎设计

(a) 直接运行秩为32的低秩分支会因降维投影读取16位输入和升维投影写入16位输出带来57%延迟开销。Nunchaku通过内核融合优化该开销。(b) 降维投影与量化内核共享输入，升维投影与4比特计算内核共享输出。通过融合前后两组内核减少数据移动开销。

模型说明

• 开发团队： 麻省理工学院、英伟达、卡内基梅隆大学、普林斯顿大学、加州大学伯克利分校、上海交通大学及Pika实验室
• 模型类型： INT4 W4A4模型
• 模型大小： 6.64GB
• 分辨率要求： 像素数需为65,536的整数倍
• 许可证： Apache-2.0

使用方式

Diffusers

请按mit-han-lab/nunchaku说明配置环境后运行：

import torch
from diffusers import FluxPipeline
from nunchaku.models.transformer_flux import NunchakuFluxTransformer2dModel

transformer = NunchakuFluxTransformer2dModel.from_pretrained("mit-han-lab/svdq-int4-flux.1-dev")
pipeline = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev", transformer=transformer, torch_dtype=torch.bfloat16
).to("cuda")
image = pipeline("一只举着'你好世界'标牌的猫", num_inference_steps=50, guidance_scale=3.5).images[0]
image.save("示例.png")

Comfy UI

详见comfyui/README.md

限制

• 仅支持NVIDIA sm_86（安培架构如RTX 3090/A6000）、sm_89（Ada架构如RTX 4090）和sm_80（A100）GPU，详见此问题
• 细节表现可能与BF16原模型存在微小差异

引用

若使用本模型，请引用：

@inproceedings{
  li2024svdquant,
  title={SVDQuant：通过低秩分量吸收离群值的4比特扩散模型量化},
  author={李*, 沐阳 and 林*, 宇君 and 张*, 哲凯 and 蔡天乐 and 李修宇 and 郭俊贤 and 谢恩泽 and 孟晨霖 and 朱俊彦 and 韩松},
  booktitle={第十三届国际学习表征会议},
  year={2025}
}