数据集:

• benchang1110/TaiVision-pretrain-1M-v2.0 语言:
• zh 库名称: transformers 任务标签: 图像文本到文本 基础模型:
• benchang1110/TaiVisionLM-base-v1

模型卡片

模型详情

中文

台视模型：开创先河！🚀

🌟 这是Hugging Face上首个（仅12亿参数）支持繁体中文指令输入的视觉语言模型！🌟

✨ 本模型完全兼容Transformers库，加载迅速、微调便捷，无需任何外部库即可实现闪电级推理！⚡️

准备好体验繁体中文视觉语言模型了吗？让我们开始吧！🖼️🤖

模型描述

该模型是多模态大语言模型，结合SigLIP视觉编码器与Tinyllama语言模型，通过视觉投影器连接双模态。架构类似PaliGemma。

开发流程：

1. 单模态预训练
   • 直接采用预训练好的视觉编码器和自主训练的繁体中文语言模型
2. 特征对齐
   • 使用100万图文对训练视觉投影器，并采用LoRA微调语言模型
3. 任务专项训练
   • 后续将进行图像描述、视觉问答等任务专项训练

• 开发者: benchang1110
• 模型类型: 图像文本到文本
• 语言: 繁体中文

快速开始

from transformers import AutoProcessor, AutoModelForCausalLM
from PIL import Image
import requests
import torch

processor = AutoProcessor.from_pretrained("benchang1110/TaiVisionLM-base-v2", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("benchang1110/TaiVisionLM-base-v2", 
                                           trust_remote_code=True,
                                           torch_dtype=torch.float16).to('cuda')

url = "https://example.com/image.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text="描述图片", images=image, return_tensors="pt").to('cuda')
outputs = model.generate(**inputs, max_length=512)
print(processor.decode(outputs[0]))

性能对比

• 示例1（微笑标志）

  • v1版本: 简单描述卡通标志
  • v2版本: 详细分析文字排版、色彩对比、边缘设计等视觉元素

• 示例2（巴黎铁塔）

  • v1版本: 基础场景描述
  • v2版本: 包含建筑细节、空间层次、光影效果等深度描写

训练参数

使用V100显卡(32GB)训练约45小时完成特征对齐阶段。后续将随着数据资源增加更新训练方案。