library_name: transformers datasets:

• ucsahin/Turkish-VLM-Mix-Benchmark language:
• tr pipeline_tag: image-text-to-text license: apache-2.0

中文

🎉 隆重推出TraVisionLM：开创先河之作！🚀

🌟 这是Hugging Face上首个极速轻量（仅8.75亿参数）的土耳其语视觉语言模型，能够根据输入的图像理解土耳其语指令并作出响应！🌟

✨ 完全兼容Transformers库开发的TRaVisionLM，无需任何外部依赖即可轻松加载、微调，实现闪电般的推理速度！⚡️

准备好体验土耳其语视觉语言模型了吗？让我们开始吧！🇹🇷🖼️🤖

模型详情

核心架构

该多模态大语言模型创新性地结合了SigLIP视觉编码器与GPT2-large语言模型，通过视觉投影器实现跨模态融合。其架构设计参考PaliGemma，并对视觉投影器和因果语言建模模块进行了优化改进。

开发历程

1. 单模态预训练

   • 采用google/siglip-base-patch16-256-multilingual视觉编码器
   • 集成ytu-ce-cosmos/turkish-gpt2-large土耳其语语言模型

2. 特征对齐

   • 遵循LLaVA训练方案
   • 使用50万图文对专训视觉投影器

3. 任务专项训练

   • 基于110万图文提示三元组
   • 强化短描述/详述/视觉问答能力

4. 下游任务微调

   • 目标检测专项模型详见ucsahin/TraVisionLM-Object-Detection-ft

基础信息

• 开发者: ucsahin
• 模型类型: 图文生成
• 支持语言: 土耳其语
• 许可协议: Apache 2.0

应用场景

直接应用

• 简略描述
  使用指令如"简述"、"概括图像"等，生成简洁图像说明
  提示：此任务幻觉现象较少

• 详细描述
  使用指令如"详细说明"、"深度解析图像"等，生成丰富细节
  提示：可能产生图像外细节

• 视觉问答
  支持开放式提问如"图像焦点是什么？"、"汽车颜色？"等
  提示：需调整生成参数优化答案

扩展应用

• 视频问答（通过帧采样实现）
• 图文检索（无需修改架构）
• 定制微调（支持视觉分类等任务）

使用限制

• 不支持多轮对话记忆
• 不支持多图对比分析
• 未针对OCR/分割任务优化

快速开始

from transformers import AutoModelForCausalLM, AutoProcessor
import torch
import requests 
from PIL import Image

# 加载模型（需启用trust_remote_code）
model = AutoModelForCausalLM.from_pretrained('ucsahin/TraVisionLM-base', 
                                           trust_remote_code=True,
                                           device_map="cuda")
processor = AutoProcessor.from_pretrained('ucsahin/TraVisionLM-base', 
                                        trust_remote_code=True)

# 准备输入
image = Image.open(requests.get("https://example.com/car.jpg").raw)
prompt = "简述"  # 可替换为其他指令

# 生成结果
inputs = processor(text=prompt, images=image, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=512, do_sample=True)
print(processor.decode(outputs[0], skip_special_tokens=True))

训练详情

训练数据

评估数据集已发布：Turkish-VLM-Mix-Benchmark

关键参数

计算资源

• 特征对齐：1×A100(40GB)
• 专项训练：1×H100(80GB)

许可声明

本模型采用Apache 2.0许可协议发布。若用于研究或商业项目，请注明出处。学术引用信息将在后续论文发表后补充。

如有疑问或合作意向，请联系：

• Hugging Face社区：提交issue
• 邮箱：sahin.umitcan@gmail.com

开发者寄语

作为首个土耳其语视觉语言模型，TraVisionLM虽在性能上不及商业大模型，但填补了土耳其语多模态模型的空白。期待社区共同推动土耳其语AI发展！🤘

特别鸣谢开源社区提供的技术支撑，使得有限资源下的创新成为可能。欢迎反馈与协作！🙏