Open-LLaVA-NeXT-LLaMA3-8B开源聊天机器人 - 支持多模态研究，免费可用

Open LLaVA NeXT LLaMA3 8B

由 Share4oReasoning 开发

一个开源的聊天机器人模型，通过在开源数据上微调整个模型进行训练，可用于多模态模型和聊天机器人的研究。

下载量 215

发布时间 : 12/27/2024

模型简介

open-llava-next-llama3-8b是一个基于LLaMA3-8B的多模态模型，主要用于大型多模态模型和聊天机器人的研究。

多模态能力

结合视觉和语言处理能力，能够理解和生成基于图像和文本的响应。

开源训练数据

使用完全开源的数据集进行训练，包括ShareGPT4V Mix665K和其他生成数据。

高性能

在多个基准测试（如MME、SEED、SQA等）上表现优异，优于同类模型。

多模态对话

视觉问答

文本生成

图像理解

研究

多模态模型研究

用于研究视觉和语言模型的结合与性能优化。

在多个基准测试中表现优异

聊天机器人开发

开发能够理解和生成基于图像和文本的聊天机器人。

教育

视觉问答系统

用于教育场景中的视觉问答和交互式学习。

属性	详情
模型类型	open-llava-next-llama3-8b是一个开源的聊天机器人，通过在开源的Open-LLaVA-Next-mix1M数据上微调整个模型进行训练。
模型日期	open-llava-next-llama3-8b于2024年5月进行训练。
更多信息的论文或资源	[代码]

名称	ViT	LLM	权重	MME	SEED	SQA	MMB	MMB - CN	TextVQA	GQA
llava-next-vicuna-7b	CLIP - L - 336	Vicuna - 7B	HF	1519	70.2	70.1	67.4	60.6	64.9	64.2
open-llava-next-vicuna-7b	CLIP - L - 336	Vicuna - 7B	HF	1540	71.1	70.7	68.5	60.7	67.2	64.3
open-llava-next-llama3-8b	CLIP - L - 336	LLaMA3 - 8B	HF	1552	74.4	77.3	74.4	70.4	69.8	65.9