数据集:

• axiong/pmc_oa_beta 语言:
• 英文 库名称: open_clip 管道标签: 文本到图像 标签:
• 生物学
• 化学
• 医学

模型描述

该模型基于OpenAI的ViT-L-14模型，使用PMC_OA_beta和roco数据集进行微调，训练工具为open_clip（https://github.com/mlfoundations/open_clip）。

训练方法

python -m training.main \
    --save-frequency 2 \
    --zeroshot-frequency 1 \
    --report-to tensorboard \
    --train-data="/home/data1/ryanyip/huggingface-models/pmc_oa_beta/train.csv"  \
    --val-data="/home/data1/ryanyip/huggingface-models/pmc_oa_beta/sample_valid.csv"  \
    --csv-separator "," \
    --csv-img-key image \
    --csv-caption-key caption \
    --warmup 10000 \
    --batch-size=128 \
    --lr=1e-5 \
    --wd=0.2 \
    --epochs=30 \
    --workers=8 \
    --model "ViT-L-14" \
    --name "pmc_vit_l_14" \
    --pretrained  "ViT-L-14_state_dict.pt" \
    --save-most-recent

注：ViT-L-14_state_dict.pt是来自openai/ViT-L-14的预训练权重