标签:

• 文本生成图像
• LoRA微调
• 扩散模型
• 模板:扩散-LoRA 组件:
• 文本: >- [双视角]这组两张图像从不同视角呈现同一场景。[图像1]首图展示配有靠垫的沙发组合、带台灯的边几、桌上平板电视、室内绿植、墙面装饰、电灯以及地毯铺设的客厅。[图像2]次图以另一视角呈现相同房间。 输出: 链接: images/livingroom_incontext_1.jpg
• 文本: >- [双视角]这组两张图像从不同视角呈现同一场景。[图像1]首图展示配有靠垫的沙发组合、带台灯的边几、桌上平板电视、室内绿植、墙面装饰、电灯以及地毯铺设的客厅。[图像2]次图以另一视角呈现相同房间。 输出: 链接: images/livingroom_incontext_0.jpg
• 文本: >- [双视角]这组两张图像从不同视角呈现同一场景。[图像1]首图展示配备床铺、梳妆台和窗户的卧室。床上铺有毛毯与枕头，地面铺设地毯。房间右侧是带抽屉的橱柜、镜子、灯具等物件，另有椅子、带台灯的桌子及其他物品的边桌。墙面装饰相框，窗户配有窗帘，窗外可见树木。[图像2]次图以另一视角呈现相同房间。 输出: 链接: images/bedroom_incontext_0.jpg
• 文本: >- [双视角]这组两张图像从不同视角呈现同一场景。[图像1]首图展示配备床铺、梳妆台和窗户的卧室。床上铺有毛毯与枕头，地面铺设地毯。房间右侧是带抽屉的橱柜、镜子、灯具等物件，另有椅子、带台灯的桌子及其他物品的边桌。墙面装饰相框，窗户配有窗帘，窗外可见树木。[图像2]次图以另一视角呈现相同房间。 输出: 链接: images/bedroom_incontext_1.jpg 基础模型: black-forest-labs/FLUX.1-dev 实例提示: 空 许可证: MIT

多视角上下文LoRA

<图库组件 />

模型描述

受上下文LoRA启发，本项目致力于同步生成同一场景或物体的多视角图像。通过结合FLUX模型与多视角上下文LoRA，可将图像分割成多个部分以获得新颖视角。

注意: 当前为测试版模型。视角间一致性可能不够完美，有时生成的视角在空间位置或物体对应关系上存在偏差。我们正在持续改进视角间的几何一致性与空间关联性。

最新动态

• 2024年11月25日: 发布测试版v0.3模型，视角间一致性较前一版本有显著提升

发展路线

• [x] 🔄 优化双视角图像一致性
  • [ ] 在提示词中添加相机控制参数以调节视角相似度
• [ ] 4️⃣ 生成网格排列的四视角场景
• [ ] 🧸 生成网格排列的物体标准四视角
• [ ] 🏛️ 基于多视角图像的三维重建

在将LoRA应用于FluxInpaint流程时，发现生成视角与输入视角间存在显著一致性下降。因此计划改为在FluxFill模型上训练LoRA，而非原生的Flux文生图模型，以提升性能表现。

推理示例

import torch
from diffusers import FluxPipeline

pipeline = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    torch_dtype=torch.bfloat16,
)
pipeline.load_lora_weights(
    "ysmao/multiview-incontext",
    weight_name="twoview-incontext-b03.safetensors",
)
pipeline.fuse_lora()

scene_prompt = "配有靠垫的沙发组合、带台灯的边几、桌上平板电视、室内绿植、墙面装饰、电灯以及地毯铺设的客厅"
prompt = f"[双视角]这组两张图像从不同视角呈现同一场景。[图像1]首图展示{scene_prompt}。[图像2]次图以另一视角呈现相同房间。"
image_height = 576
image_width = 864
output = pipeline(
    prompt=prompt,
    height=int(image_height),
    width=int(image_width * 2),
    num_inference_steps=30,
    guidance_scale=3.5,
).images[0]

output.save("双视角上下文测试版.png")

模型下载

本模型权重提供Safetensors格式文件。

请前往下载页面在"文件与版本"选项卡获取。