语言: 英语
许可证: MIT
标签:

• 视觉
• 图像转文本
• 图像字幕生成
  模型名称: microsoft/git-base
  管道标签: 图像转文本
  库名称: transformers
  数据集:
• ayoubkirouane/One-Piece-anime-captions

模型详情

• 模型名称: Git-base-One-Piece
• 基础模型: 微软的 "git-base" 模型
• 模型类型: 生成式图像转文本 (GIT)
• 微调数据集: 'One-Piece-anime-captions' 数据集
• 微调目的: 为动漫系列《海贼王》相关的图像生成文本描述。

模型描述

Git-base-One-Piece 是微软 git-base 模型的微调版本，专门针对 One-Piece-anime-captions 数据集中的图像生成描述性文本字幕任务进行训练。

该数据集包含 856 对 {图像: 字幕}，为模型提供了丰富多样的训练语料。

该模型基于 CLIP 图像标记和文本标记进行条件化，并采用 教师强制 训练方法。它在考虑图像和先前文本标记提供的上下文的同时，预测下一个文本标记。

局限性

• 生成字幕的质量可能因 One-Piece-anime-captions 数据集中图像的复杂性和多样性而有所不同。
• 模型的输出基于其微调的数据，因此可能无法很好地泛化到数据集领域之外的图像。
  生成高度详细或上下文准确的字幕可能仍然具有挑战性。

使用方法

# 使用 pipeline 作为高级辅助工具  
from transformers import pipeline  

pipe = pipeline("image-to-text", model="ayoubkirouane/git-base-One-Piece")  

或

# 直接加载模型  
from transformers import AutoProcessor, AutoModelForCausalLM  

processor = AutoProcessor.from_pretrained("ayoubkirouane/git-base-One-Piece")  
model = AutoModelForCausalLM.from_pretrained("ayoubkirouane/git-base-One-Piece")