基础模型:

• stabilityai/stable-diffusion-3.5-large 基础模型关系: 量化版本 任务标签: 文生图 标签:
• dfloat11
• df11
• 无损压缩
• 体积缩减70%，精度保持100%

DFloat11压缩模型: stabilityai/stable-diffusion-3.5-large

这是采用定制DFloat11格式对stabilityai/stable-diffusion-3.5-large进行无损压缩的版本。

核心优势

• √ 输出结果完全一致：与原BFloat16模型逐比特对应
•  模型体积缩减约30%（从16GB降至11.3GB）
•  显存需求更低：现可在16GB显卡上运行
• ☕ 性能损耗极低：运行速度几乎与完整模型相当

DFloat11在保持全数值精度的前提下压缩模型权重，使您能在更普及的硬件上运行stabilityai/stable-diffusion-3.5-large，且输出质量毫无妥协。

技术原理

DFloat11通过BFloat16指数位的霍夫曼编码结合硬件感知算法设计实现压缩，支持直接在GPU上进行实时解压。推理过程中权重始终以压缩形态驻留显存，仅在矩阵乘法前解压，运算后立即释放以最小化内存占用。

技术优势：

• 全GPU运算：无需CPU解压或主机-设备数据传输
• 比CPU卸载方案快得多，适合内存受限环境部署
• 完全无损压缩，确保模型输出与原始模型逐比特一致

使用指南

1. 安装/升级DFloat11 pip包（自动安装CUDA内核，需兼容CUDA的GPU和PyTorch环境）:

   pip install -U dfloat11[cuda12]
   # CUDA 11用户请使用:
   # pip install -U dfloat11[cuda11]
   

2. 安装/升级diffusers包:

   pip install -U diffusers
   

3. Python调用示例:

   import torch
   from diffusers import StableDiffusion3Pipeline
   from dfloat11 import DFloat11Model
   
   pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.bfloat16)
   pipe.enable_model_cpu_offload()
   
   DFloat11Model.from_pretrained('DFloat11/stable-diffusion-3.5-large-DF11', device='cpu', bfloat16_model=pipe.transformer)
   
   image = pipe(
       "一只举着'Hello World'标牌的水豚",
       num_inference_steps=28,
       guidance_scale=3.5,
   ).images[0]
   image.save("capybara.png")
   

扩展阅读

• 论文: 70%体积100%精度：动态长度浮点实现高效GPU无损推理
• GitHub: https://github.com/LeanModels/DFloat11
• HuggingFace: https://huggingface.co/DFloat11