标签:

• 图像转文本
• 图像描述生成 许可证: apache-2.0 评估指标:
• rouge 数据集:
• Mozilla/flickr30k-transformed-captions 演示样例:
• 图片链接: https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg 示例标题: 热带草原
• 图片链接: https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg 示例标题: 足球比赛
• 图片链接: https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg 示例标题: 机场 基础模型:
• google/vit-base-patch16-224-in21k

模型索引:

• 名称: mozilla/distilvit 成果:
  • 任务: 类型: 图像转文本 名称: 图像转文本 数据集: 名称: Mozilla/flickr30k-transformed-captions 类型: Mozilla/flickr30k-transformed-captions 评估指标:
    • 名称: ROUGE-1 类型: rouge 数值: 43.006 已验证: 是
    • 名称: ROUGE-2 类型: rouge 数值: 16.9939 已验证: 是
    • 名称: ROUGE-L 类型: rouge 数值: 38.8923 已验证: 是
    • 名称: ROUGE-LSUM 类型: rouge 数值: 38.8877 已验证: 是
    • 名称: 损失值 类型: loss 数值: 0.19939416646957397
    • 名称: 生成长度 类型: gen_len 数值: 11.327256736227712 已验证: 是

distilvit

本模型为持续开发中的版本。基于以下模型进行微调：

• 图像编码器采用VIT模型：https://huggingface.co/google/vit-base-patch16-224-in21k
• 文本解码器采用蒸馏版GPT-2模型：https://huggingface.co/distilbert/distilgpt2

训练数据来源：

• Flickr30k数据集：https://huggingface.co/datasets/nlphuji/flickr30k
• COCO 2017数据集：https://cocodataset.org

可通过提交记录3083a3cef6e3c8dd90df3f088074bbe836b0f403获取该检查点。

后续进一步微调使用的数据集：

• 去偏见的Flickr30k
• DocOrNot
• 替代文本验证集

对于最后一个数据集，我们的团队使用checkvite工具对模型生成的替代文本进行了人工校正标注。

模型实现代码详见：https://github.com/mozilla/distilvit