🚀 KOALA-700M-LLaVA-Caption模型

KOALA是一个快速文本到图像的模型。它通过压缩SDXL的U-Net并从SDXL中提炼知识，在减少模型大小的同时，保持了不错的生成质量。KOALA-700M在NVIDIA 4090 GPU上生成1024x1024图像不到1.5秒，速度是SDXL的两倍多，可作为资源有限时SDM和SDXL之间的不错替代方案。

     

🚀 快速开始

你可以使用🤗 Diffusers库 进行推理。以下是一个使用25个去噪步骤的推理代码示例：

import torch
from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained("etri-vilab/koala-700m-llava-cap", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "A portrait painting of a Golden Retriever like Leonard da Vinci"
negative = "worst quality, low quality, illustration, low resolution"
image = pipe(prompt=prompt, negative_prompt=negative).images[0]

✨ 主要特性

• 高效的U-Net架构：KOALA模型使用简化的U-Net架构，与前代模型Stable Diffusion XL (SDXL) 相比，模型大小分别减少了54%和69%。
• 基于自注意力的知识蒸馏：KOALA的核心技术专注于自注意力特征的蒸馏，这对保持图像生成质量至关重要。

📦 模型卡片

📚 详细文档

摘要

简而言之

我们提出了一个名为KOALA的快速文本到图像模型，通过压缩SDXL的U-Net并将SDXL的知识提炼到我们的模型中。KOALA-700M在NVIDIA 4090 GPU上可以在不到1.5秒的时间内生成1024x1024的图像，速度比SDXL快两倍多。KOALA-700M可以在资源有限的情况下作为SDM和SDXL之间的不错替代方案。

架构

有两种压缩的U-Net类型，KOALA-1B和KOALA-700M，它们通过减少残差块和Transformer块来实现。

U-Net比较

• Tx表示Transformer块，CKPT表示训练的检查点文件。
• 我们在NVIDIA 4090 GPU (24GB) 上使用FP16精度和25个去噪步骤测量延迟。
• SDM-v2.0使用768x768分辨率，而SDXL和KOALA模型使用1024x1024分辨率。

不同GPU上的延迟和内存使用比较

我们使用各种消费级GPU（NVIDIA 3060Ti (8GB)、2080Ti (11GB) 和4090 (24GB)）测量了768x768分辨率的SDM-v2.0和1024x1024分辨率的其他模型的推理时间。我们使用25个去噪步骤和FP16/FP32精度。OOM表示内存不足。请注意，SDXL-Base无法在8GB GPU上运行。

模型描述

• 由 ETRI视觉智能实验室 开发
• 开发者：Youngwan Lee、Kwanyong Park、Yoorhim Cho、Young-Ju Lee、Sung Ju Hwang
• 模型描述：基于潜在扩散的文本到图像生成模型。KOALA模型使用与 SDXL-Base-1.0 相同的文本编码器，仅用压缩的U-Net替换去噪U-Net。
• 训练数据：LAION-aesthetics-V2 6+
• 更多信息资源：查看 KOALA在arXiv上的报告 和 项目页面。

用途

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括：

• 艺术作品生成及在设计和其他艺术过程中的应用。
• 教育或创意工具中的应用。
• 生成模型的研究。
• 对可能生成有害内容的模型进行安全部署。
• 探索和理解生成模型的局限性和偏差。

超出范围的使用

该模型未经过训练以真实反映人物或事件，因此使用该模型生成此类内容超出了该模型的能力范围。

局限性和偏差

• 文本渲染：模型在图像中渲染长而清晰的文本时面临挑战。
• 复杂提示：KOALA有时在处理涉及多个属性的复杂提示时会遇到困难。
• 数据集依赖：当前的局限性部分归因于训练数据集（LAION-aesthetics-V2 6+）的特性。

📄 许可证

如果你使用了该模型，请引用以下文献：

@misc{Lee@koala,
    title={KOALA: Self-Attention Matters in Knowledge Distillation of Latent Diffusion Models for Memory-Efficient and Fast Image Synthesis}, 
    author={Youngwan Lee and Kwanyong Park and Yoorhim Cho and Yong-Ju Lee and Sung Ju Hwang},
    year={2023},
    eprint={2312.04005},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}