license: apache-2.0 tags:

• 文生图
• 超写实
• 文生图
• 稳定扩散
• 专家混合
• 分段专家混合 pinned: true library_name: diffusers

SegMoE-4x2-v0：Segmind扩散专家混合模型

SegMoE-4x2-v0 是一个未经训练的Segmind扩散专家混合模型，通过segmoe工具从4个专家级SDXL模型生成。SegMoE是一个强大的框架，可在几分钟内动态组合多个稳定扩散模型形成专家混合体，无需训练。该框架支持即时创建更大型的模型，这些模型具备更广泛的知识库、更强的遵循性和更优的图像质量。

使用方法

此模型可通过segmoe库使用。

确保通过以下命令安装segmoe：

pip install segmoe

from segmoe import SegMoEPipeline

pipeline = SegMoEPipeline("segmind/SegMoE-4x2-v0", device = "cuda")

prompt = "宇宙画布，橙色城市背景，胖猫的绘画"
negative_prompt = "不适合工作场所的内容，低质量，更差质量"
img = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=1024,
    width=1024,
    num_inference_steps=25,
    guidance_scale=7.5,
).images[0]
img.save("image.png")

配置

创建此模型所用的配置如下：

基础模型: SG161222/RealVisXL_V3.0
专家数量: 4
混合层: 全部
每令牌专家数: 2
专家列表:
  - 源模型: frankjoshua/juggernautXL_v8Rundiffusion
    正面提示词: "美学，电影感，手部，肖像，照片，插画，8K，超精细，折纸，男性，女性，超级跑车"
    负面提示词: "(最差质量，低质量，普通质量，低分辨率，细节不足，过饱和，欠饱和，过曝，欠曝，灰度，黑白，差照片，差摄影，差艺术:1.4)，(水印，签名，文字字体，用户名，错误，标志，词语，字母，数字，签名，商标，名称:1.2)，(模糊，模糊，颗粒感)，病态，丑陋，不对称，变异畸形，残缺，光线差，阴影差，草稿，裁剪，出框，截断，审查，JPEG伪影，失焦，故障，重复，(喷绘，卡通，动漫，半写实，CGI，渲染，搅拌机，数字艺术，漫画，业余:1.3)，(3D，3D游戏，3D游戏场景，3D角色:1.1)，(差手部，差解剖，差身体，差面部，差牙齿，差手臂，差腿部，畸形:1.3)"
  - 源模型: SG161222/RealVisXL_V3.0
    正面提示词: "电影感，肖像，摄影，Instagram，时尚，电影，微距拍摄，8K，RAW，超写实，极致真实"
    负面提示词: "(辛烷渲染，渲染，绘画，动漫，差照片，差摄影:1.3)，(最差质量，低质量，模糊:1.2)，(差牙齿，畸形牙齿，畸形嘴唇)，(差解剖，差比例:1.1)，(畸形虹膜，畸形瞳孔)，(畸形眼睛，差眼睛)，(畸形面部，丑陋面部，差面部)，(畸形手部，差手部，融合手指)，病态，残缺，突变，毁容"
  - 源模型: albertushka/albertushka_DynaVisionXL
    正面提示词: "极简主义，插画，获奖艺术，绘画，印象派，漫画，色彩，素描，铅笔画"
    负面提示词: "压缩伪影，差艺术，最差质量，低质量，塑料感，虚假，差肢体，连体，无特征，差特征，错误物体，水印，((签名):1.25)，标志"
  - 源模型: frankjoshua/albedobaseXL_v13
    正面提示词: "摄影 f/1.4，ISO 200，1/160秒，8K，RAW，未编辑，对称平衡，框内，8K"
    负面提示词: "不适合工作场所的内容，低分辨率，差解剖，差手部，文字，错误，缺失手指，多余手指，缺少手指，裁剪，最差质量，低质量，普通质量，JPEG伪影，签名，水印，模糊"

其他变体

我们在Hugging Face上发布了3种合并模型：

• SegMoE 2x1 包含两个专家模型。
• SegMoE SD 4x2 包含四个Stable Diffusion 1.5专家模型。

对比

如下图所示，模型对提示词的理解能力有所提升。从左到右依次为SegMoE-2x1-v0、SegMoE-4x2-v0、基础模型(RealVisXL_V3.0)

模型描述

• 开发团队: Segmind
• 核心开发者: Yatharth Gupta 与 Vishnu Jaddipal。
• 模型类型: 基于扩散的文本生成图像专家混合模型
• 许可协议: Apache 2.0

非适用范围

SegMoE-4x2-v0模型不适合创建需要事实准确性的人物、事件或现实世界信息的表征。该模型不适用于需要高精度和准确性的任务。

优势

• 整合多个精调专家模型的知识
• 无需训练
• 对数据具有更好的适应性
• 可通过选用更优的精调模型作为专家来升级模型

局限性

• 虽然模型在图像保真度和遵循性方面有所提升，但未经训练的情况下不会显著优于单个专家模型，其表现依赖于专家模型的知识储备。
• 当前版本尚未针对速度进行优化。
• 框架尚未针对内存使用进行优化。

引用

@misc{segmoe,
  author = {Yatharth Gupta, Vishnu V Jaddipal, Harish Prabhala},
  title = {SegMoE},
  year = {2024},
  publisher = {HuggingFace},
  journal = {HuggingFace Models},
  howpublished = {\url{https://huggingface.co/segmind/SegMoE-4x2-v0}}
}