license: apache-2.0 tags:

• 文生图
• 安全张量
• 扩散模型 datasets:
• JourneyDB/JourneyDB library_name: diffusers pipeline_tag: text-to-image

Lumina-Next-SFT

Lumina-Next-SFT 是一款包含20亿参数的Next-DiT模型，采用Gemma-2B作为文本编码器，并通过高质量监督微调(SFT)进行增强。

我们的生成模型以Next-DiT为骨干网络，文本编码器采用Gemma 20亿参数模型，VAE则使用stabilityai微调的sdxl版本。

• 生成模型：Next-DiT
• 文本编码器：Gemma-2B
• VAE：stabilityai/sdxl-vae

Lumina-T2X论文

📰 最新动态

• [2024-07-08] 🎉🎉🎉 Lumina-Next现已支持diffusers！感谢@yiyixuxu和@sayakpaul！

• [2024-06-08] �🎉🎉 我们发布了Lumina-Next-SFT模型。

• [2024-05-28] 我们更新了Lumina-Next-T2I模型以支持2K分辨率图像生成。

• [2024-05-16] 已将.pth权重转换为.safetensors格式。请拉取最新代码使用demo.py进行推理。

• [2024-05-12] 我们发布了Lumina-T2I的下一代版本Lumina-Next-T2I，实现更快速度更低内存占用的图像生成。

🎮 模型库

更多模型检查点即将发布~

安装指南

1. 创建conda环境并安装PyTorch

注：您可能需要根据驱动程序版本调整CUDA版本。

conda create -n Lumina_T2X -y
conda activate Lumina_T2X
conda install python=3.11 pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=12.1 -c pytorch -c nvidia -y

2. 安装依赖项

pip install diffusers huggingface_hub

3. 安装flash-attn

pip install flash-attn --no-build-isolation

推理使用

1. 准备预训练模型

⭐⭐ (推荐) 使用huggingface_cli下载模型：

huggingface-cli download --resume-download Alpha-VLLM/Lumina-Next-SFT-diffusers --local-dir /模型保存路径

2. 运行示例代码：

from diffusers import LuminaText2ImgPipeline
import torch

pipeline = LuminaText2ImgPipeline.from_pretrained("/模型保存路径/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16).to("cuda")

# 或直接通过代码下载模型
# pipeline = LuminaText2ImgPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16).to("cuda")

image = pipeline(prompt="维多利亚时代装扮的年轻女性上半身，佩戴黄铜护目镜和皮革束带。"
                        "背景展现工业革命时期的城市景观，烟雾缭绕的天空和高耸的金属建筑").images[0]