许可协议：Apache-2.0
标签：

• 文本生成图像
• 超现实风格
• 文本生成图像
• 稳定扩散模型
• 专家混合
• 分段专家混合
  置顶：是
  库名称：diffusers

SegMoE-SD-4x2-v0：Segmind扩散专家混合模型

SegMoE-SD-4x2-v0是基于4个SD1.5专家模型通过segmoe框架生成的未训练Segmind扩散专家混合模型。SegMoE是一个能在几分钟内动态组合多个稳定扩散模型形成专家混合体的强大框架，无需训练即可实现。该框架支持即时创建更大规模的模型，从而提供更丰富的知识、更高的遵循度和更优的图像质量。

使用方法

可通过segmoe库使用本模型。

请确保通过以下命令安装segmoe：

pip install segmoe  

from segmoe import SegMoEPipeline  

pipeline = SegMoEPipeline("segmind/SegMoE-SD-4x2-v0", device="cuda")  

prompt = "宇宙画布，橙色城市背景，胖猫绘画"  
negative_prompt = "NSFW内容，低质量，劣质"  
img = pipeline(  
    prompt=prompt,  
    negative_prompt=negative_prompt,  
    height=1024,  
    width=1024,  
    num_inference_steps=25,  
    guidance_scale=7.5,  
).images[0]  
img.save("image.png")  

配置参数

模型创建使用的配置如下：

基础模型: SG161222/Realistic_Vision_V6.0_B1_noVAE  
专家数量: 4  
混合层: 全部  
每标记专家数: 2  
专家列表:  
  - 源模型: SG161222/Realistic_Vision_V6.0_B1_noVAE  
    正向提示词: "电影感，肖像，摄影，Instagram风格，时尚，电影，微距拍摄，8K，RAW格式，超现实，极致真实"  
    负向提示词: "（变形虹膜，变形瞳孔，半现实主义，CGI，3D，渲染，素描，卡通，绘画，动漫风格），文字，裁剪，画框外，最差质量，低质量，JPEG伪影，丑陋，重复，病态，残缺，多余手指，变异手部，手部绘制粗糙，面部绘制粗糙，变异，畸形，模糊，脱水，解剖结构错误，比例失调，多余肢体，克隆脸，畸形，比例失衡，肢体缺失，肢体多余，手指融合，手指过多，长颈"  
  - 源模型: dreamlike-art/dreamlike-anime-1.0  
    正向提示词: "动漫照片，杰作，高质量，超高分辨率，1女孩，1男孩，二次元老婆，Q版"  
    负向提示词: "简单背景，重复，复古风格，低质量，最低质量，1980年代，1990年代，2000年代，2005-2013年间，解剖结构错误，比例失调，多余数字，低分辨率，用户名，作者名，错误，重复，水印，签名，文字，多余数字，数字缺失，最差质量，JPEG伪影，模糊"  
  - 源模型: Lykon/dreamshaper-8  
    正向提示词: "虚化背景，精致，优雅，锐利焦点，柔和光线，鲜艳色彩，梦幻，幻想，ArtStation平台，概念艺术"  
    负向提示词: "低质量，低分辨率，JPEG伪影，签名，解剖结构错误，多余腿部，多余手臂，多余手指，手部绘制粗糙，脚部绘制粗糙，畸形，画框外，平铺，劣质艺术，变形，突变，模糊，毛糙，形状错误，突变体，恶心，丑陋，水印"  
  - 源模型: dreamlike-art/dreamlike-diffusion-1.0  
    正向提示词: "梦幻艺术，彩虹头发的不羁女性，跨维度旅行，动态姿势，快乐，柔和眼神与尖下巴，极致虚化，纤细身材，长发垂落，破旧可爱衬衫与宽松牛仔裤，Jordan Grimmer和Greg Rutkowski风格，清晰线条与色彩，复杂背景，粒子，线条，风，概念艺术，锐利焦点，鲜明色彩"  
    负向提示词: "裸体，低质量，低分辨率，JPEG伪影，签名，解剖结构错误，多余腿部，多余手臂，多余手指，手部绘制粗糙，脚部绘制粗糙，畸形，画框外"  

其他变体

我们发布了3个Hugging Face合并版本：

• SegMoE 4x2 包含四个Stable Diffusion XL专家模型
• SegMoE 2x1 包含两个Stable Diffusion XL专家模型

模型描述

• 开发团队: Segmind
• 核心开发者: Yatharth Gupta 与 Vishnu Jaddipal
• 模型类型: 基于扩散的文本生成图像专家混合模型
• 许可协议: Apache 2.0

非适用场景

SegMoE-SD-4x2-v0模型不适用于创建人物、事件或现实世界信息的真实准确表征，也不适用于需要高精度和准确性的任务。

优势

• 集成多个精调专家模型的知识
• 无需训练
• 更强的数据适应能力
• 可通过替换更优的精调模型来升级整体性能

局限性

• 虽然模型提升了图像保真度和遵循度，但在未经训练的情况下，其效果不会显著优于单个专家模型
• 当前版本未针对速度进行优化
• 框架内存使用效率有待提升

引用

@misc{segmoe,  
  作者 = {Yatharth Gupta, Vishnu V Jaddipal, Harish Prabhala},  
  标题 = {SegMoE},  
  年份 = {2024},  
  发布方 = {HuggingFace},  
  期刊 = {HuggingFace模型库},  
  获取方式 = {\url{https://huggingface.co/segmind/SegMoE-SD-4x2-v0}}  
}