基础模型:

• black-forest-labs/FLUX.1-schnell 基础模型关系: 量化版本 任务标签: 文生图 标签:
• dfloat11
• df11
• 无损压缩
• 体积减少70%，精度100%保持

DFloat11压缩模型: black-forest-labs/FLUX.1-schnell

这是采用定制DFloat11格式对black-forest-labs/FLUX.1-schnell进行无损压缩的版本。该压缩模型的输出结果与原始BFloat16模型完全位对齐，同时可降低约**30%**的GPU显存占用。

工作原理

DFloat11通过BFloat16指数位的霍夫曼编码结合硬件感知算法设计实现权重压缩，支持直接在GPU上进行实时解压。推理过程中权重始终以压缩形态驻留显存，仅在矩阵乘法前解压，运算后立即释放以优化内存占用。

核心优势：

• 无需CPU解压或主机-设备数据传输——所有操作完全在GPU端处理
• 相比CPU卸载方案速度显著提升，适合内存受限环境部署
• 压缩过程完全无损，确保模型输出与原始模型二进制一致

使用方法

1. 安装DFloat11 pip包（自动安装CUDA内核，需兼容CUDA的GPU和PyTorch环境）:

   pip install dfloat11[cuda12]
   # 若使用CUDA 11版本:
   # pip install dfloat11[cuda11]
   

2. 使用Python运行以下示例代码调用DFloat11模型:

   import torch
   from diffusers import FluxPipeline
   from dfloat11 import DFloat11Model
   
   pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", torch_dtype=torch.bfloat16)
   pipe.enable_model_cpu_offload()
   
   DFloat11Model.from_pretrained('DFloat11/FLUX.1-schnell-DF11', device='cpu', bfloat16_model=pipe.transformer)
   
   prompt = "未来主义城市日落景观，包含飞行汽车、霓虹灯与反光运河"
   image = pipe(
       prompt,
       guidance_scale=0.0,
       num_inference_steps=4,
       max_sequence_length=256,
       generator=torch.Generator("cpu").manual_seed(0)
   ).images[0]
   image.save("flux-schnell.png")
   

了解更多

• 论文: 《70%体积100%精度：基于动态长度浮点的无损大模型压缩技术》
• GitHub: https://github.com/LeanModels/DFloat11
• HuggingFace: https://huggingface.co/DFloat11