许可协议：apache-2.0
数据集：

• wraps/flux1_dev-small
  基础模型：vikhyatk/moondream2
  任务类型：image-text-to-text
  库名称：transformers

Moondream-Caption：基于Moondream2的定制小型视觉模型

Moondream-Caption是基于vikhyatk开发的moondream2的定制小型视觉模型。该模型通过特定数据集的微调，显著提升了图像描述生成能力。

核心特性：

• 基于moondream2架构
• 专为图像字幕生成任务微调
• 使用高质量定制数据集训练

数据集

训练所用的数据集专为图像描述任务设计，具有以下特点：

• 图像由flux1_dev生成
• 包含高精度且经过验证的描述性标注
• 涵盖多样化的视觉内容

使用方法

通过Hugging Face Transformers库可快速实现图像描述生成：

from transformers import AutoTokenizer, AutoModelForCausalLM  
from PIL import Image  

moondream = AutoModelForCausalLM.from_pretrained(  
   "wraps/moondream-caption", trust_remote_code=True  
)  
tokenizer = AutoTokenizer.from_pretrained("wraps/moondream-caption")  

image = Image.open("图片路径.jpg")  
enc_image = moondream.encode_image(image)  
caption = model.answer_question(enc_image, "为这张图片生成详细描述")  

print(caption)  

示例

生成描述：特写镜头下的绿色外星人肖像，拥有巨大的椭圆形头部、杏仁状的漆黑大眼睛、小巧的鼻孔和微型嘴巴。外星人颈部细长，身着印有"人类让我害怕"白色字样的黑色T恤。背景是淡蓝色天空与柔和的缕缕云彩。

局限性

尽管本模型能生成精确的图像描述，但在以下场景可能表现欠佳：

• 与训练数据集差异显著的图像
• 包含复杂或抽象内容的图像
  如遇问题，请在模型仓库提交issue反馈。