license: apache-2.0 pipeline_tag: image-text-to-text

TinyLLaVA发布了一系列小型大规模多模态模型（LMMs），规模从1.4B到3.1B不等。我们的最佳模型TinyLLaVA-Phi-2-SigLIP-3.1B，在整体性能上超越了现有的7B模型，如LLaVA-1.5和Qwen-VL。

在此，我们介绍TinyLLaVA-Phi-2-SigLIP-3.1B，该模型由TinyLLaVA Factory代码库训练而成。对于LLM和视觉塔，我们分别选择了Phi-2和siglip-so400m-patch14-384。用于训练该模型的数据集是ShareGPT4V数据集。

使用方法

执行以下测试代码：

from transformers import AutoTokenizer, AutoModelForCausalLM

hf_path = 'tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B'
model = AutoModelForCausalLM.from_pretrained(hf_path, trust_remote_code=True)
model.cuda()
config = model.config
tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False, model_max_length = config.tokenizer_model_max_length,padding_side = config.tokenizer_padding_side)
prompt="这是什么？"
image_url="http://images.cocodataset.org/test-stuff2017/000000000001.jpg"
output_text, genertaion_time = model.chat(prompt=prompt, image=image_url, tokenizer=tokenizer)

print('模型输出:', output_text)
print('运行时间:', genertaion_time)

结果

注：TinyLLaVA Factory是一个开源模块化代码库，专注于小型LMMs的代码实现简洁性、新功能的可扩展性以及训练结果的可复现性。该代码库提供了标准的训练和评估流程、灵活的数据预处理和模型配置，以及易于扩展的架构。用户可以以最少的编码工作和更少的编码错误来自定义自己的LMMs。

TinyLLaVA Factory集成了一系列前沿模型和方法。

• LLM目前支持OpenELM、TinyLlama、StableLM、Qwen、Gemma和Phi。
• 视觉塔目前支持CLIP、SigLIP、Dino以及CLIP和Dino的组合。
• 连接器目前支持MLP、Qformer和Resampler。