基础模型:

• black-forest-labs/FLUX.1-dev 基础模型关系: 量化版本 任务标签: 文生图 标签:
• dfloat11
• df11
• 无损压缩
• 体积缩减70%，精度保持100%

DFloat11压缩模型: black-forest-labs/FLUX.1-dev

这是采用定制DFloat11格式对black-forest-labs/FLUX.1-dev进行无损压缩的版本。该压缩模型的输出与原始BFloat16模型完全比特一致，同时可降低约**30%**的GPU显存占用。

工作原理

DFloat11通过BFloat16指数位的霍夫曼编码结合硬件感知算法设计实现权重压缩，支持直接在GPU上进行实时解压。推理过程中权重始终以压缩形态驻留显存，仅在矩阵乘法前解压，运算后立即释放以最小化内存占用。

核心优势：

• 无需CPU解压或主机-设备数据传输——所有操作完全在GPU上处理
• 相比CPU卸载方案速度显著提升，适合内存受限环境部署
• 压缩过程完全无损，确保模型输出与原始模型比特级一致

使用方法

1. 安装DFloat11 pip包（自动安装CUDA内核，需兼容CUDA的GPU和PyTorch环境）:

   pip install dfloat11[cuda12]
   # 若使用CUDA 11版本:
   # pip install dfloat11[cuda11]
   

2. 运行以下Python示例代码:

   import torch
   from diffusers import FluxPipeline
   from dfloat11 import DFloat11Model
   
   pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)
   pipe.enable_model_cpu_offload()
   
   DFloat11Model.from_pretrained('DFloat11/FLUX.1-dev-DF11', device='cpu', bfloat16_model=pipe.transformer)
   
   prompt = "未来主义城市日落景观，包含飞行汽车、霓虹灯与反光水渠"
   image = pipe(
       prompt,
       width=1920,
       height=1440,
       guidance_scale=3.5,
       num_inference_steps=50,
       max_sequence_length=512,
       generator=torch.Generator(device="cuda").manual_seed(0)
   ).images[0]
   
   image.save("image.png")
   

延伸阅读

• 论文: 《70%体积缩减，100%精度保留：基于动态长度浮点的无损大模型GPU高效推理压缩技术》
• GitHub: https://github.com/LeanModels/DFloat11
• HuggingFace: https://huggingface.co/DFloat11