许可证：apache-2.0
数据集：

• Vikhrmodels/GrandMaster-PRO-MAX
  语言：
• 俄语
• 英语
  基础模型：
• Qwen/Qwen2-VL-2B-Instruct
  任务标签：文本生成
  标签：
• 多模态
  库名称：transformers

tvl-mini

简介

这是基于俄语对Qwen2-VL-2B模型进行的LORA微调版本。

数据

数据集包含：

• GrandMaster-PRO-MAX数据集（6.8万样本）
• 视觉推理（3.6万样本） #训练中
• 图像描述（3.4万样本） #训练中
• 知识型视觉问答（3.5万样本） #训练中
• 视觉问答（8万样本） #训练中
• 分类（2.1万样本） #训练中
• 对话（1.1万样本） #训练中

基准测试

待完成

快速开始

您可以直接运行此笔记本或执行以下代码。

首先安装qwen-vl-utils和transformers开发版：

pip install qwen-vl-utils  
pip install --no-cache-dir git+https://github.com/huggingface/transformers@19e6e80e10118f855137b90740936c0b11ac397f  

然后运行：

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor  
from qwen_vl_utils import process_vision_info  
import torch  

model = Qwen2VLForConditionalGeneration.from_pretrained(  
    "2Vasabi/tvl-mini-0.1", torch_dtype=torch.bfloat16, device_map="auto"  
)  

processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")  
messages = [  
    {  
        "role": "user",  
        "content": [  
            {  
                "type": "image",  
                "image": "https://i.ibb.co/d0QL8s6/images.jpg",  
            },  
            {"type": "text", "text": "简要描述你在图像中看到的内容"},  
        ],  
    }  
]  

text = processor.apply_chat_template(  
    messages, tokenize=False, add_generation_prompt=True  
)  
image_inputs, video_inputs = process_vision_info(messages)  
inputs = processor(  
    text=[text],  
    images=image_inputs,  
    videos=video_inputs,  
    padding=True,  
    return_tensors="pt",  
)  

inputs = inputs.to("cuda")  

generated_ids = model.generate(**inputs, max_new_tokens=1000)  
generated_ids_trimmed = [  
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)  
]  
output_text = processor.batch_decode(  
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False  
)  
print(output_text)