🚀 Asagi-4B 大规模日语视觉语言模型

本项目提供了 Asagi-4B，这是一个大规模的日语视觉语言模型（VLM）。该模型基于广泛的日语数据集进行训练，整合了多种不同来源的数据，为日语视觉语言处理提供了强大的支持。

🚀 快速开始

环境要求

transformers==4.45.1
accelerate==0.34.2
torch==2.4.0
torchvision==0.19.0

使用方法

import requests
import torch
import transformers
from PIL import Image
from transformers import AutoModel, AutoProcessor, GenerationConfig

transformers.set_seed(42)
model_path = "MIL-UT/Asagi-4B"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModel.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

generation_config = GenerationConfig(
    do_sample=True,
    num_beams=5,
    max_new_tokens=256,
    temperature=0.7,
    repetition_penalty=1.5
)

prompt = ("以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n"
            "### 指示:\n<image>\nこの画像を見て、次の質問に詳細かつ具体的に答えてください。この写真はどこで撮影されたものか教えてください。また、画像の内容についても詳しく説明してください。\n\n### 応答:\n")

# sample image
sample_image_url = "https://raw.githubusercontent.com/uehara-mech/uehara-mech.github.io/refs/heads/master/images/shibuya.jpg"
image = Image.open(requests.get(sample_image_url, stream=True).raw)

inputs = processor(
    text=prompt, images=image, return_tensors="pt"
)
inputs_text = processor.tokenizer(prompt, return_tensors="pt")
inputs['input_ids'] = inputs_text['input_ids']
inputs['attention_mask'] = inputs_text['attention_mask']
for k, v in inputs.items():
    if v.dtype == torch.float32:
        inputs[k] = v.to(model.dtype)
inputs = {k: inputs[k].to(model.device) for k in inputs if k != "token_type_ids"}

generate_ids = model.generate(
    **inputs,
    generation_config=generation_config
)
generated_text = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

# do not print the prompt
if "<image>" in prompt:
    prompt = prompt.replace("<image>", " ")
generated_text = generated_text.replace(prompt, "")

print(f"Generated text: {generated_text}")

# >>> Generated text:  この写真は東京の渋谷で撮影されたものです。夜の渋谷の街並みが写っており、高層ビルが立ち並び、街灯やネオンサインが輝いています。

✨ 主要特性

本仓库提供的 Asagi-4B 大规模日语视觉语言模型具有以下特性：

• 丰富的训练数据：使用了大量的日语数据集进行训练，涵盖多种数据来源。
• 合成数据的合理使用：部分训练数据通过日语大语言模型（如 CALM3-22B-Chat）和英语视觉语言模型（如 Phi3.5-vision-instruct）合成，且未使用许可证限制输出使用的大语言模型（如 GPT - 4）。
• 多组件架构：由视觉编码器、投影器和大语言模型组成。

模型组件详情

💻 使用示例

基础用法

上述快速开始部分的代码展示了如何使用 Asagi-4B 模型对图像进行处理并生成文本描述。以下是一个简单的示例：

# 代码保持不变
import requests
import torch
import transformers
from PIL import Image
from transformers import AutoModel, AutoProcessor, GenerationConfig

transformers.set_seed(42)
model_path = "MIL-UT/Asagi-4B"
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModel.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

generation_config = GenerationConfig(
    do_sample=True,
    num_beams=5,
    max_new_tokens=256,
    temperature=0.7,
    repetition_penalty=1.5
)

prompt = ("以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n"
            "### 指示:\n<image>\nこの画像を見て、次の質問に詳細かつ具体的に答えてください。この写真はどこで撮影されたものか教えてください。また、画像の内容についても詳しく説明してください。\n\n### 応答:\n")

# sample image
sample_image_url = "https://raw.githubusercontent.com/uehara-mech/uehara-mech.github.io/refs/heads/master/images/shibuya.jpg"
image = Image.open(requests.get(sample_image_url, stream=True).raw)

inputs = processor(
    text=prompt, images=image, return_tensors="pt"
)
inputs_text = processor.tokenizer(prompt, return_tensors="pt")
inputs['input_ids'] = inputs_text['input_ids']
inputs['attention_mask'] = inputs_text['attention_mask']
for k, v in inputs.items():
    if v.dtype == torch.float32:
        inputs[k] = v.to(model.dtype)
inputs = {k: inputs[k].to(model.device) for k in inputs if k != "token_type_ids"}

generate_ids = model.generate(
    **inputs,
    generation_config=generation_config
)
generated_text = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]

# do not print the prompt
if "<image>" in prompt:
    prompt = prompt.replace("<image>", " ")
generated_text = generated_text.replace(prompt, "")

print(f"Generated text: {generated_text}")

高级用法

可以根据不同的需求调整 GenerationConfig 中的参数，以实现不同的生成效果，例如调整 max_new_tokens 控制生成文本的最大长度，调整 temperature 控制生成文本的随机性等。

📚 详细文档

示例展示

基础示例

更多示例

训练详情

训练数据

注：ROIS (自有) 是为该项目专门从网络爬取的新数据集，由图像和原始文本对组成，用于合成训练数据。

评估结果

使用 Heron - Bench、JA - VLM - Bench - in - the - Wild 和 JA - VG - VQA - 500 对模型进行评估，使用 eval - mm 库进行评估操作。

注：带有“†”的模型未使用 GPT 生成的数据进行训练。粗体数字表示所有模型中的最佳性能，下划线数字表示未使用 GPT 生成数据训练的模型中的最佳性能。

🔧 技术细节

Asagi-4B 模型由视觉编码器、投影器和大语言模型三个主要部分组成。视觉编码器使用 siglip-so400m-patch14-384 对图像进行特征提取，投影器为 2 层 MLP 用于处理视觉特征，大语言模型采用 llm-jp-3-3.7b-instruct 进行文本生成。

在训练过程中，使用了多种日语和翻译后的数据集进行两阶段训练，通过合成和翻译等预处理方式，确保模型能够学习到丰富的视觉和语言信息。

📄 许可证

本模型采用 Apache - 2.0 许可证。

⚠️ 重要提示

这里发布的模型处于研究和开发的早期阶段，尚未进行调优以确保输出符合人类意图和安全考虑。

👨‍💻 模型卡片作者

Kohei Uehara