inference: false language:

• 泰语
• 英语 library_name: transformers license: apache-2.0 pipeline_tag: text-generation base_model:
• Qwen/Qwen2-VL-7B-Instruct

Typhoon2-Vision

Typhoon2-qwen2vl-7b-vision-instruct 是一款支持泰语 🇹🇭 的视觉语言模型，能够处理图像和视频输入。虽然 Qwen2-VL 设计用于同时处理图像和视频任务，但 Typhoon2-VL 特别针对基于图像的应用进行了优化。

技术报告请参阅我们的 arxiv。

模型描述

这里我们提供基于 Qwen2-VL-7B-Instruct 构建的 Typhoon2-qwen2vl-7b-vision-instruct。

• 模型类型: 基于 Qwen2 架构的 7B 指令解码器模型，带有视觉编码器。
• 要求: transformers 4.38.0 或更高版本。
• 主要语言: 泰语 🇹🇭 和英语 🇬🇧
• 演示: https://vision.opentyphoon.ai/
• 许可证: Apache-2.0

快速开始

以下代码片段展示了如何使用 transformers 库运行该模型。

运行代码前，请先安装以下依赖项：

pip install torch transformers accelerate pillow

如何使用该模型

使用以下代码开始使用模型。

问题: 用泰语指出这张图片中的地点名称和国家
回答: 大皇宫，曼谷，泰国

from PIL import Image
import requests
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model_name = "scb10x/typhoon2-qwen2vl-7b-vision-instruct"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_name, torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_name)

# 图片
url = "https://cdn.pixabay.com/photo/2023/05/16/09/15/bangkok-7997046_1280.jpg"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
            },
            {"type": "text", "text": "用泰语指出这张图片中的地点名称和国家"},
        ],
    }
]


# 预处理输入
text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

inputs = processor(
    text=[text_prompt], images=[image], padding=True, return_tensors="pt"
)
inputs = inputs.to("cuda")

output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [
    output_ids[len(input_ids) :]
    for input_ids, output_ids in zip(inputs.input_ids, output_ids)
]
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
)
print(output_text)
# ['大皇宫，曼谷，泰国']

处理多张图片

from PIL import Image
import requests
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model_name = "scb10x/typhoon2-qwen2vl-7b-vision-instruct"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_name, torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_name)

# 包含多张图片和文本查询的消息
conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
            },
            {
                "type": "image",
            },
            {"type": "text", "text": "指出这两张图片中的三个相似之处"},
        ],
    }
]

urls = [
    "https://cdn.pixabay.com/photo/2023/05/16/09/15/bangkok-7997046_1280.jpg",
    "https://cdn.pixabay.com/photo/2020/08/10/10/09/bangkok-5477405_1280.jpg",
]
images = [Image.open(requests.get(url, stream=True).raw) for url in urls]

# 预处理输入
text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

inputs = processor(text=[text_prompt], images=images, padding=True, return_tensors="pt")
inputs = inputs.to("cuda")

# 推理
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)
# ['1. 两张图片展示了相似的建筑风格\n2. 两张图片都有丰富的色彩\n3. 两张图片都有美丽的风景']

提示

为了平衡模型性能和计算成本，可以通过向处理器传递参数来设置最小和最大像素数。

min_pixels = 128 * 28 * 28
max_pixels = 2560 * 28 * 28
processor = AutoProcessor.from_pretrained(
    model_name, min_pixels=min_pixels, max_pixels=max_pixels
)

评估（图像）

注：每个单元格中的第一个值代表 Rouge-L，第二个值（/ 后）代表 准确率，标准化后 Rouge-L = 100%。

预期用途与限制

这是一个指令模型，但仍处于开发阶段。虽然内置了一定程度的防护机制，但仍可能对用户提示产生不准确、有偏见或其他不当的回答。建议开发者在具体应用场景中评估这些风险。

关注我们

https://twitter.com/opentyphoon

支持

https://discord.gg/us5gAYmrxw

引用

• 如果您发现 Typhoon2 对您的工作有帮助，请引用：

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}