🚀 ProteusV0.5

ProteusV0.5是AI图像生成模型的最新完整版本，它是在OpenDalleV1.1基础上进行的深度优化。此版本在照片写实度、提示理解能力以及跨领域风格表现能力方面都有显著提升。

🚀 快速开始

你可以使用以下代码示例，借助🧨 diffusers库来使用ProteusV0.5：

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    KDPM2AncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.5", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = KDPM2AncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "a cat wearing sunglasses on the beach"
negative_prompt = ""

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=7,
    num_inference_steps=50,
    clip_skip=2
).images[0]


image.save("generated_image.png")

✨ 主要特性

关于Proteus

Proteus利用并增强了OpenDalleV1.1的核心功能，以提供更出色的结果。主要改进领域包括对提示的更高响应度和更强的创造力。该模型使用精心挑选的免版权库存图像和高质量AI生成图像对数据集进行了微调。

V0.5的关键改进

高级自定义CLIP集成

• 集成了经过精心训练的自定义CLIP模型。
• 经过长时间稳定开发。
• 针对Proteus和Prometheus的特定品质进行了进一步微调。
• 预计为模型性能提升贡献约90%。
• 为达到最佳性能，需要将clip skip设置为2。

风格能力的进一步优化

• 生成多样化艺术风格的能力得到增强。
• 复杂场景和构图的连贯性得到改善。

扩展训练数据集

• 现在总数超过400,000张图像。
• 显著拓宽了知识库和生成能力。

平衡创造力与准确性

• 解决了之前“过于风格化/富有创造力”的问题。
• 提高了用户提示与生成输出之间的一致性。

Proteus的背景

Proteus是OpenDalleV1.1的深度优化版本，它利用其核心功能来提供更出色的结果。主要改进领域包括对提示的更高响应度和更强的创造力。为实现这一目标，它使用了约220,000张来自免版权库存图像（包括一些动漫）的GPTV字幕图像进行微调，然后进行了归一化处理。此外，还通过精心挑选的10,000对高质量AI生成图像对采用了DPO（直接偏好优化）。为追求最佳性能，在将众多LORA（低秩自适应）模型通过动态应用方法选择性地集成到主模型之前，会对它们进行独立训练。这些技术涉及针对模型内的特定部分，同时在学习阶段避免干扰其他区域。因此，Proteus在描绘复杂面部特征和逼真皮肤纹理方面有显著改进，同时在各种美学领域，特别是超现实主义、动漫和卡通风格可视化方面保持了出色的能力。

训练细节

改进之处

• 复杂面部特征和逼真皮肤纹理的描绘能力增强。
• 超现实主义、动漫和卡通风格可视化的能力提高。
• 由于自定义训练的CLIP，提示理解能力更优。
• 扩展的数据集带来更多样化和准确的输出。
• 创造力与准确性之间的平衡得到优化。

推荐设置

📄 许可证

本项目采用Apache 2.0许可证。

🔍 示例展示