语言:

• 英文 标签:
• 稳定扩散模型
• 扩散模型框架
• 文生图 模型索引:
• 名称: ldm3d 成果:
  • 任务: 名称: 面向3D-4C的潜在扩散模型 类型: 3D-4C潜在扩散模型 数据集: 名称: LAION-400M 类型: laion/laion400m 指标:
    • 名称: FID 类型: FID 值: 27.82
    • 名称: IS 类型: IS 值: 28.79
    • 名称: CLIP 类型: CLIP 值: 26.61
    • 名称: 绝对相对误差 类型: AbsRel 值: 0.0911
    • 名称: 均方根误差[米] 类型: RMSE-m 值: 0.334 流程标签: 文本转3D 许可证: creativeml-openrail-m

LDM3D-4C模型

LDM3D模型由Gabriela Ben Melech Stan、Diana Wofk等人在论文《LDM3D：面向3D的潜在扩散模型》中提出，并入选2023年IEEE/CVF计算机视觉与模式识别大会(CVPR)。该新版本检查点将深度信息作为单独通道处理。

模型详情

论文摘要指出：本研究提出了一种能从文本提示生成图像和深度图数据的潜在扩散模型（LDM3D），通过包含RGB图像、深度图和标题的数据元组进行微调，并开发了名为DepthFusion的交互式360度视图应用。这项技术有望重塑娱乐、建筑等行业的数字内容创作方式。

架构图源自LDM3D论文

使用方式

通过文本提示生成RGB图像和深度图：

from diffusers import StableDiffusionLDM3DPipeline

pipe = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d-4c")
pipe.to("cuda")  # GPU加速

output = pipe("桌上柠檬的照片")
output.rgb[0].save("lemons_rgb.jpg")
output.depth[0].save("lemons_depth.png")

生成效果示例：

训练数据

基于LAION-400M数据子集微调，该数据集包含4亿多图文对。

微调过程

分两阶段：先训练自编码器获取低维表征，再微调扩散模型。

评估结果

量化指标

在512x512 MS-COCO数据集上的表现（50步DDIM）：

深度评估对比（以ZoeDepth-N为基准）：

定性对比

伦理与限制

图像生成继承Stable Diffusion的局限性，深度图生成受DPT-large的约束。

注意事项

建议用户了解模型风险。推荐参考：

• PyTorch英特尔扩展
• 英特尔神经压缩器

免责声明

本模型许可证不构成法律建议，商业使用前请咨询律师。

引用格式

@misc{stan2023ldm3d,
      title={LDM3D: Latent Diffusion Model for 3D}, 
      author={Gabriela Ben Melech Stan et al.},
      year={2023},
      eprint={2305.10853},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}