标签:

• 图像转文本
• 图像描述生成
• transformers.js 许可证: apache-2.0 评估指标:
• rouge 数据集:
• Mozilla/flickr30k-transformed-captions-gpt4o 演示样例:
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/savanna.jpg 示例标题: 热带草原
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg 示例标题: 足球比赛
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/airport.jpg 示例标题: 机场 基础模型:
• google/vit-base-patch16-224-in21k

distilvit蒸馏视觉模型

本模型为持续开发版本。基于以下模型微调而成：

• 图像编码器采用VIT模型：https://huggingface.co/google/vit-base-patch16-224-in21k
• 文本解码器采用蒸馏版GPT-2模型：https://huggingface.co/distilbert/distilgpt2

训练数据来源：

• 去偏见的COCO 2017数据集
• 去偏见的Flickr30k数据集
• Pexels图库
• DocOrNot文档数据集
• 替代文本验证集

项目代码库：https://github.com/mozilla/distilvit

训练结果

{
  "训练/损失值": 0.0781,
  "训练/学习率": 0.00003793103448275862,
  "训练/轮次": 2.41,
  "训练/全局步数": 700,
  "验证/损失值": 0.09741172194480896,
  "验证/rouge1": 60.382,
  "验证/rouge2": 38.0754,
  "验证/rougeL": 56.9132,
  "验证/rougeLsum": 56.9214,
  "验证/meteor": 0.5448683804505693,
  "验证/生成长度": 9.864678265672467,
  "验证/运行时间": 343.0443,
  "验证/每秒样本数": 10.555,
  "验证/每秒步数": 0.108,
  "训练/总运行时间": 10567.9413,
  "训练/每秒训练样本": 27.414,
  "训练/每秒训练步数": 0.274,
  "训练/总浮点运算量": 9039628706135409000,
  "训练/训练损失": 0.09852950266429356,
}