标签:

• huggan
• gan
• 无条件图像生成 许可证: mit 数据集:
• huggan/smithsonian_butterflies_subset

查看可用标签列表:

https://github.com/huggingface/hub-docs/blob/main/js/src/lib/interfaces/Types.ts#L12

蝴蝶生成对抗网络

模型描述

基于论文《Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis》： "值得注意的是，该模型仅需在单个RTX-2080 GPU上训练几小时即可从零开始收敛，并且即使在少于100个训练样本的情况下也能保持一致的性能"

该模型也被称为轻量级GAN模型。此模型使用改编自lucidrains仓库的脚本进行训练。与上述脚本不同的是，我们采用了官方仓库中的图像变换方法，因为训练图像已预先裁剪对齐。

预期用途与限制

主要用于娱乐和学习目的~

使用方法

import torch
from huggan.pytorch.lightweight_gan.lightweight_gan import LightweightGAN

gan = LightweightGAN.from_pretrained("ceyda/butterfly_cropped_uniq1K_512")
gan.eval()
batch_size = 1
with torch.no_grad():
    ims = gan.G(torch.randn(batch_size, gan.latent_dim)).clamp_(0., 1.)*255
    ims = ims.permute(0,2,3,1).detach().cpu().numpy().astype(np.uint8)
    # ims格式为[BxWxHxC]，可通过Image.fromarray(ims[0])显示

限制与偏差

• 训练时确保每个物种只保留一只蝴蝶样本，避免某些物种主导生成结果
• 使用CLIP评分筛选数据集时可能引入审美偏见，某些蝴蝶可能因不符合"漂亮"标准而被排除

训练数据

使用1000张图像进行训练。虽然可以增加数据量，但受限于人工筛选时间。更多细节参见数据卡片。

训练过程

在2块A4000显卡上训练约1天，7-12小时内即可获得不错效果。关键参数："--batch_size 64 --gradient_accumulate_every 4 --image_size 512 --mixed_precision fp16"

评估结果

在100张图像上计算FID分数，但由于FID指标的局限性，结果仅供参考。

生成图像示例

可通过在线演示体验生成效果。

引用信息

模型由Ceyda Cinarel在huggan冲刺活动中训练完成。