许可证: openrail++ 标签:

• 艺术
• 稳定扩散
• 控制网络
• SDXL
• 扩散-XL 流程标签: 文本生成图像

迷线控

掌控每一根线条！

GitHub仓库

最新动态!!!!! Anyline预处理工具正式发布!!!!

Anyline仓库

迷线控：一款适应性强且稳健的SDXL控制网络模型，适用于多样化线稿条件控制。

迷线控是一款SDXL控制网络模型，能够适配任何类型的线稿输入，展现出极高的精确度和出色的稳定性。它可以根据用户提供的各类线稿（包括手绘草图、不同的控制网络线稿预处理工具以及模型生成的轮廓）生成高质量图像（短边大于1024像素）。迷线控无需为不同的线稿预处理工具选择不同的控制网络模型，因其在多样化的线稿条件下展现出强大的泛化能力。

我们通过采用创新的线稿预处理算法**Anyline**，基于stabilityai/stable-diffusion-xl-base-1.0的Unet重新训练控制网络模型，并结合大模型训练工程的创新，开发出了迷线控。迷线控在不同类型的线稿输入上均展现出卓越性能，在细节还原、提示对齐和稳定性方面超越了现有的控制网络模型，尤其在更复杂的场景中表现尤为突出。

迷线控保持了与@lllyasviel发布控制网络架构的一致性，如下图所示：


参考：https://github.com/lllyasviel/ControlNet

更多关于控制网络的信息可参考以下资料：
https://github.com/lllyasviel/ControlNet
https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

该模型兼容大多数SDXL模型，除PlaygroundV2.5、CosXL和SDXL-Lightning（可能）外。它可以与LCM及其他控制网络模型配合使用。

禁止以下使用行为：

• 违反法律法规
• 伤害或剥削未成年人
• 制造和传播虚假信息
• 侵犯他人隐私
• 诽谤或骚扰他人
• 损害他人合法权益的自动化决策
• 基于社会行为或个人特征的歧视
• 利用特定群体弱点误导其行为
• 基于法律保护特征的歧视
• 提供医疗建议和诊断结果
• 不当生成和使用信息用于执法、移民等目的

若将本模型用于商业用途或分发，必须遵守以下条件：

1. 在产品文档、网站或其他显著位置明确标注TheMisto.ai对本模型的贡献。 示例："本产品使用了TheMisto.ai开发的MistoLine-SDXL-ControlNet。"
2. 若产品包含关于界面、说明文件等显示区域，必须在这些区域包含上述署名信息。
3. 若无上述区域，须在产品其他合理位置包含署名信息以确保终端用户可见。
4. 不得以任何方式暗示TheMisto.ai为产品背书。署名仅用于表明模型来源。
   如有具体署名方式疑问，请联系info@themisto.ai。

模型输出未经审查，作者不认可生成内容中的观点。使用风险自负。

不同线稿预处理工具应用效果

与其他控制网络对比

应用示例

草图渲染

以下案例仅使用迷线控作为控制网络：

模型渲染

以下案例仅使用Anyline作为预处理工具和迷线控作为控制网络。

ComfyUI推荐参数

采样步数:30
CFG值:7.0
采样器:dpmpp_2m_sde
调度器:karras
降噪强度:0.93
控制网络强度:1.0
起始百分比:0.0
结束百分比:0.9

Diffusers流程

确保先安装依赖库：

pip install accelerate transformers safetensors opencv-python diffusers

然后即可运行：

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline, AutoencoderKL
from diffusers.utils import load_image
from PIL import Image
import torch
import numpy as np
import cv2

prompt = "航拍视角，明亮雾霭丛林中的未来主义研究基地，强光照射"
negative_prompt = '低质量，劣质，草图'

image = load_image("https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png")

controlnet_conditioning_scale = 0.5

controlnet = ControlNetModel.from_pretrained(
    "TheMistoAI/MistoLine",
    torch_dtype=torch.float16,
    variant="fp16",
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    vae=vae,
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

image = np.array(image)
image = cv2.Canny(image, 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
image = Image.fromarray(image)

images = pipe(
    prompt, negative_prompt=negative_prompt, image=image, controlnet_conditioning_scale=controlnet_conditioning_scale,
    ).images

images[0].save(f"hug_lab.png")

模型文件

• mistoLine_rank256.safetensors : 通用版本，适用于ComfyUI和AUTOMATIC1111-WebUI。
• mistoLine_fp16.safetensors : FP16权重版本，适用于ComfyUI和AUTOMATIC1111-WebUI。

!!!mistoLine_rank256.safetensors优于mistoLine_fp16.safetensors

!!!mistoLine_rank256.safetensors表现更出色！！

ComfyUI使用示例

中国大陆便捷下载：

链接：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
提取码：8mzs

引用文献

@misc{
      标题={为文本到图像扩散模型添加条件控制}, 
      作者={张绿旻, 饶安怡, Maneesh Agrawala},
      年份={2023},
      电子预印本={2302.05543},
      存档前缀={arXiv},
      主要分类={cs.CV}
}