语言:

• 英文 许可证名称: 英特尔研究使用许可 许可证链接: LICENSE.md 基础模型: google/gemma-7b-it 标签:
• 大语言模型
• 英特尔 模型索引:
• 名称: llava-gemma-7b 结果:
  • 任务: 类型: 大语言模型 名称: 大语言模型 指标:
    • 类型: GQA 名称: GQA 值: 0.472
    • 类型: MME认知 名称: MME认知 值: 254
    • 类型: MME感知 名称: MME感知 值: 895
    • 类型: MM-Vet 名称: MM-Vet 值: 18.2
    • 类型: POPE准确率 名称: POPE准确率 值: 0.848
    • 类型: POPE F1 名称: POPE F1 值: 0.829
    • 类型: VQAv2 名称: VQAv2 值: 68.7
    • 类型: MMVP 名称: MMVP 值: 0.327
    • 类型: ScienceQA图像 名称: ScienceQA图像 值: 0.625 库名称: transformers 管道标签: 图像文本到文本

模型详情: LLaVA-Gemma-7b

llava-gemma-7b是一个基于LLaVA-v1.5框架训练的大型多模态模型(LMM)，其语言主干为70亿参数的google/gemma-7b-it模型，视觉编码器基于CLIP。

注意： 截至2024年6月3日，我们尚未将此模型的权重转换为HuggingFace LLaVA格式。转换完成后将更新此模型卡。

此模型卡由Benjamin Consolvo和上述作者创建。

预期用途

使用方法

目前使用llava-gemma需要修改后的预处理器。我们正在修改LlavaProcessor类以简化使用(参见PR #30030)。预计很快会有更新。

当前使用方法请参考usage.py或以下代码块：

import requests
from PIL import Image
from transformers import (
  LlavaForConditionalGeneration,
  AutoTokenizer,
  CLIPImageProcessor
)
from processing_llavagemma import LlavaGemmaProcessor # 位于本仓库中

checkpoint = "Intel/llava-gemma-7b"

# 加载模型
model = LlavaForConditionalGeneration.from_pretrained(checkpoint)
processor = LlavaGemmaProcessor(
    tokenizer=AutoTokenizer.from_pretrained(checkpoint),
    image_processor=CLIPImageProcessor.from_pretrained(checkpoint)
)

# 准备输入
# 使用gemma聊天模板
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "<image>\n图片内容是什么？"}],
    tokenize=False,
    add_generation_prompt=True
)
url = "https://www.ilankelman.org/stopsigns/australia.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")

# 生成
generate_ids = model.generate(**inputs, max_length=30)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

若仅作为聊天机器人使用(不含图像)，可修改最后部分代码如下：

# 准备输入
# 使用gemma聊天模板
prompt = processor.tokenizer.apply_chat_template(
    [{'role': 'user', 'content': "总结以下段落？本文介绍了LLaVA-Gemma，这是一种利用Gemma大语言模型的紧凑视觉语言模型，包含Gemma-2B和Gemma-7B两种变体。我们的工作为研究人员提供了独特机会，探索小规模模型中计算效率与多模态理解之间的权衡。两种变体的可用性使得比较分析成为可能，揭示了模型规模如何影响各种任务的性能。我们的评估展示了LLaVA-Gemma在多个数据集上的多功能性和有效性，凸显其作为未来小规模视觉语言模型研究基准的潜力。通过这些模型，未来的实践者可以更直接地优化小规模多模态模型的性能。"}],
    tokenize=False,
    add_generation_prompt=True
)
inputs = processor(text=prompt, images=None, return_tensors="pt")

# 生成
generate_ids = model.generate(**inputs, max_length=300)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(output)

影响因素

指标

训练数据

模型使用LLaVA-v1.5数据混合训练。具体如下：

• 来自LAION/CC/SBU的558K过滤图像-文本对，由BLIP标注。
• 158K GPT生成的多模态指令跟随数据。
• 450K学术任务导向的VQA数据混合。
• 40K ShareGPT数据。

定量分析

LLaVA-Gemma模型在七个基准上的性能。高亮框表示LLaVA-Gemma模型中最强性能。底部两行显示Llava Phi-2和LLaVA-v1.5的自我报告性能。加粗的gemma-7b-it是本模型卡中当前使用的模型。

伦理考量

英特尔致力于尊重人权，避免造成或助长对人权的负面影响。参见英特尔全球人权原则。英特尔的产品和软件仅用于不会造成或助长对人权负面影响的应用程序。

注意事项和建议

用户(包括直接和下游用户)应了解模型的风险、偏见和局限性。

引用详情

@misc{hinck2024llavagemma,
      title={LLaVA-Gemma: 利用紧凑语言模型加速多模态基础模型}, 
      author={Musashi Hinck and Matthew L. Olson and David Cobbley and Shao-Yen Tseng and Vasudev Lal},
      year={2024},
      eprint={2404.01331},
      url={https://arxiv.org/abs/2404.01331},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}