许可协议：apache-2.0
标签：

• 文本生成图像
• 超现实
• 文本生成图像
• 稳定扩散
• 专家混合
• 分段专家混合
  置顶：true
  库名称：diffusers

SegMoE-2x1-v0：Segmind扩散专家混合模型

SegMoE-2x1-v0 是一个未经训练的Segmind扩散专家混合模型，通过segmoe从2个专家SDXL模型生成。SegMoE是一个强大的框架，可在几分钟内动态组合稳定扩散模型为专家混合体，无需训练。该框架允许即时创建更大的模型，提供更广泛的知识、更好的遵循性和更高的图像质量。

使用方法

此模型可通过segmoe库使用。

确保通过以下命令安装segmoe：

pip install segmoe  

from segmoe import SegMoEPipeline  

pipeline = SegMoEPipeline("segmind/SegMoE-2x1-v0", device = "cuda")  

prompt = "宇宙画布，橙色城市背景，一只胖猫的绘画"  
negative_prompt = "不适合工作场合，质量差，质量更差"  
img = pipeline(  
    prompt=prompt,  
    negative_prompt=negative_prompt,  
    height=1024,  
    width=1024,  
    num_inference_steps=25,  
    guidance_scale=7.5,  
).images[0]  
img.save("image.png")  

配置

用于创建此模型的配置如下：

base_model: SG161222/RealVisXL_V3.0  
num_experts: 2  
moe_layers: all  
num_experts_per_tok: 1  
experts:  
  - source_model: frankjoshua/juggernautXL_v8Rundiffusion  
    positive_prompt: "美学，电影感，手，肖像，照片，插画，8K，超精细，折纸，男人，女人，超级跑车"  
    negative_prompt: "(最差质量，低质量，普通质量，低分辨率，细节不足，过饱和，欠饱和，过曝，欠曝，灰度，黑白，差照片，差摄影，差艺术:1.4)，(水印，签名，文字字体，用户名，错误，标志，文字，字母，数字，签名，商标，名称:1.2)，(模糊，模糊，颗粒感)，病态，丑陋，不对称，变异畸形，残缺，光线差，阴影差，草稿，裁剪，出框，截断，审查，JPEG伪影，失焦，故障，重复，(喷绘，卡通，动漫，半写实，CGI，渲染，Blender，数字艺术，漫画，业余:1.3)，(3D，3D游戏，3D游戏场景，3D角色:1.1)，(差手，差解剖，差身体，差脸，差牙齿，差手臂，差腿，畸形:1.3)"  
  - source_model: SG161222/RealVisXL_V3.0  
    positive_prompt: "电影感，肖像，照片，Instagram，时尚，电影，微距拍摄，8K，RAW，超写实，超现实，"  
    negative_prompt: "(Octane渲染，渲染，绘画，动漫，差照片，差摄影:1.3)，(最差质量，低质量，模糊:1.2)，(差牙齿，畸形牙齿，畸形嘴唇)，(差解剖，差比例:1.1)，(畸形虹膜，畸形瞳孔)，(畸形眼睛，差眼睛)，(畸形脸，丑陋脸，差脸)，(畸形手，差手，融合手指)，病态，残缺，变异，畸形"  

其他变体

我们在Hugging Face上发布了3个合并模型：

• SegMoE 4x2 包含四个专家模型。
• SegMoE SD 4x2 包含四个Stable Diffusion 1.5专家模型。

对比

如下所示，模型对提示的理解有所提升。从左到右依次为SegMoE-2x1-v0、SegMoE-4x2-v0、基础模型(RealVisXL_V3.0)。

模型描述

• 开发团队: Segmind
• 开发者: Yatharth Gupta 和 Vishnu Jaddipal。
• 模型类型: 基于扩散的文本生成图像专家混合模型
• 许可协议: Apache 2.0

超出范围的使用

SegMoE-2x1-v0 模型不适合创建人物、事件或真实世界信息的事实性或准确表示。它不适用于需要高精度和准确性的任务。

优势

• 受益于多个微调专家的知识
• 无需训练
• 对数据的适应性更强
• 通过使用更好的微调模型作为专家之一，可以升级模型

局限性

• 尽管模型在图像保真度和遵循性方面有所改进，但未经训练的情况下，它不会比任何一个专家显著更好，且依赖于专家的知识。
• 目前尚未针对速度进行优化。
• 框架尚未针对内存使用进行优化。

引用

@misc{segmoe,  
  author = {Yatharth Gupta, Vishnu V Jaddipal, Harish Prabhala},  
  title = {SegMoE},  
  year = {2024},  
  publisher = {HuggingFace},  
  journal = {HuggingFace Models},  
  howpublished = {\url{https://huggingface.co/segmind/SegMoE-2x1-v0}}  
}