许可证：cc-by-nc-4.0
数据集：

• turing-motors/LLaVA-Pretrain-JA
• turing-motors/LLaVA-v1.5-Instruct-620K-JA
  语言：
• ja
  任务标签：image-to-text
  标签：
• vision
• image-captioning
• VQA

ConvLLaVA-JP 模型卡片

模型详情

模型类型：
ConvLLaVA-JP 是一款能够就输入图像进行对话的视觉语言模型。
该模型采用 laion/CLIP-convnext_large_d_320.laion2B-s29B-b131K-ft 作为图像编码器，llm-jp/llm-jp-1.3b-v1.0 作为文本解码器，支持 1280 x 1280 高分辨率输入。

训练过程：

1. 初始阶段：使用 LLaVA-Pretrain-JA 训练视觉投影器和第5阶段模块。
2. 第二阶段：使用 LLaVA-Pretrain-JA 联合训练图像编码器、视觉投影器、第5阶段模块及大语言模型。
3. 第三阶段：使用 LLaVA-v1.5-Instruct-620K-JA 对视觉投影器和大语言模型进行微调。

更多资源详见：https://github.com/tosiyuki/LLaVA-JP/tree/main

视觉语言模型对比

模型使用方法

1. 下载依赖

git clone https://github.com/tosiyuki/LLaVA-JP.git

2. 推理示例

import requests
import torch
import transformers
from PIL import Image

from transformers.generation.streamers import TextStreamer
from llava.constants import DEFAULT_IMAGE_TOKEN, IMAGE_TOKEN_INDEX
from llava.conversation import conv_templates, SeparatorStyle
from llava.model.llava_gpt2 import LlavaGpt2ForCausalLM
from llava.train.dataset import tokenizer_image_token


if __name__ == "__main__":
    model_path = 'toshi456/ConvLLaVA-JP-1.3b-1280'
    device = "cuda" if torch.cuda.is_available() else "cpu"
    torch_dtype = torch.bfloat16 if device=="cuda" else torch.float32

    model = LlavaGpt2ForCausalLM.from_pretrained(
        model_path, 
        low_cpu_mem_usage=True,
        use_safetensors=True,
        torch_dtype=torch_dtype,
        device_map=device,
    )
    tokenizer = transformers.AutoTokenizer.from_pretrained(
        model_path,
        model_max_length=1532,
        padding_side="right",
        use_fast=False,
    )
    model.eval()

    conv_mode = "v1"
    conv = conv_templates[conv_mode].copy()

    # 图像预处理
    image_url = "https://huggingface.co/rinna/bilingual-gpt-neox-4b-minigpt4/resolve/main/sample.jpg"
    image = Image.open(requests.get(image_url, stream=True).raw).convert('RGB')
    
    if device == "cuda":
        image_tensor = model.get_model().vision_tower.image_processor(image).unsqueeze(0).half().cuda().to(torch_dtype)
    else:
        image_tensor = model.get_model().vision_tower.image_processor(image).unsqueeze(0).to(torch_dtype)

    # 构建提示词
    # 用户: <image>\n{问题}
    prompt = "猫の隣には何がありますか？"  # "猫旁边有什么？"
    inp = DEFAULT_IMAGE_TOKEN + '\n' + prompt
    conv.append_message(conv.roles[0], inp)
    conv.append_message(conv.roles[1], None)
    prompt = conv.get_prompt()

    input_ids = tokenizer_image_token(
        prompt, 
        tokenizer, 
        IMAGE_TOKEN_INDEX, 
        return_tensors='pt'
    ).unsqueeze(0)
    if device == "cuda":
        input_ids = input_ids.to(device)

    input_ids = input_ids[:, :-1] # 移除末尾的</sep>
    stop_str = conv.sep if conv.sep_style != SeparatorStyle.TWO else conv.sep2
    keywords = [stop_str]
    streamer = TextStreamer(tokenizer, skip_prompt=True, timeout=20.0)

    # 生成预测
    with torch.inference_mode():
        output_id = model.generate(
            inputs=input_ids,
            images=image_tensor,
            do_sample=False,
            temperature=1.0,
            top_p=1.0,
            max_new_tokens=256,
            streamer=streamer,
            use_cache=True,
        )
    """输出示例：猫の隣にはノートパソコンがあります。（猫旁边有一台笔记本电脑）"""

训练数据集

阶段1与阶段2预训练

• LLaVA-Pretrain-JA

阶段3微调

• LLaVA-v1.5-Instruct-620K-JA

致谢

• ConvLLaVA
• LLM-jp
• Open CLIP

许可证

cc-by-nc-4.0