library_name: diffusers
license: cc-by-nc-2.0
base_model:

• black-forest-labs/FLUX.1-Fill-dev
  pipeline_tag: image-to-image
  tags:
• tryon
• vto

CATVTON-Flux模型卡

CATVTON-Flux是一款融合CATVTON（对比外观与拓扑结构的虚拟试穿技术）与Flux填充修复模型的先进虚拟试衣解决方案，能实现逼真精准的服装迁移效果。

更新日志：

最新成果（2024/11/24）：
CatVton-Flux-Alpha在VITON-HD数据集上以FID: 5.593255043029785达到SOTA性能。测试配置：scale 30，step 30。VITON-HD测试推理结果详见此处

模型详情

模型描述

• 开发者: X/Twitter:Black Magic An

模型来源 [可选]

• 代码库: github

用途

本模型专为虚拟试衣应用设计，用户可直观查看不同服饰的上身效果。支持通过命令行接口直接使用，需输入以下参数：

• 人物图像
• 人物掩膜
• 服装图像
• 随机种子（可选）

快速开始

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-alpha", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

训练详情

训练数据

VITON-HD数据集

训练流程

基于Flux1-dev-fill模型微调

评估

评估指标

FID: 5.593255043029785 (当前最优)

评估结果

[需补充更多信息]

总结

BibTeX参考文献:

@misc{chong2024catvtonconcatenationneedvirtual,
 title={CatVTON: 扩散模型中虚拟试衣的串联之道}, 
 author={郑冲、董潇、李浩翔、张诗悦、张文清、张旭杰、赵汉卿、梁晓丹},
 year={2024},
 eprint={2407.15886},
 archivePrefix={arXiv},
 primaryClass={cs.CV},
 url={https://arxiv.org/abs/2407.15886}, 
}
@article{lhhuang2024iclora,
  title={扩散变换器的上下文低秩适应},
  author={黄良华、王伟、吴志凡、石玉鹏、窦焕章、梁晨、冯宇桐、刘宇、周靖人},
  journal={arXiv预印本 arxiv:2410.23775},
  year={2024}
}