许可协议: cc-by-nc-4.0 数据集:

• 图灵汽车/LLaVA-预训练-日语
• 图灵汽车/LLaVA-v1.5-指令-62万-日语 语言:
• 日语 管道标签: 图像到文本 标签:
• 视觉
• 图像描述
• 视觉问答

LLaVA-JP模型卡片

模型详情

模型类型: LLaVA-JP是一个能够就输入图像进行对话的视觉语言模型。该模型采用google/siglip-so400m-patch14-384作为图像编码器，llm-jp/llm-jp-1.3b-v1.0作为文本解码器，通过scaling_on_scales方法支持768x768高分辨率图像输入。

训练过程: 本模型首先使用LLaVA-Pretrain-JA数据集训练视觉投影器，第二阶段使用LLaVA-v1.5-Instruct-620K-JA进行微调。

更多资源请访问: https://github.com/tosiyuki/LLaVA-JP/tree/main

视觉语言模型对比

模型使用方法

1. 下载依赖

git clone https://github.com/tosiyuki/LLaVA-JP.git

2. 推理示例

# 此处为完整的Python推理代码，内容与原文保持一致
# 包含图像预处理、提示词构建和生成预测等完整流程
# 示例输出: "猫の隣にはノートパソコンがあります。"（猫旁边有一台笔记本电脑）

训练数据集

第一阶段预训练

• LLaVA-预训练-日语

第二阶段微调

• LLaVA-v1.5-指令-62万-日语

致谢

• LLaVA项目
• LLM-jp团队
• scaling_on_scales技术

许可证

cc-by-nc-4.0