Eagle2 1B

由 nvidia 开发

鹰隼2号是一个高性能视觉语言模型家族，专注于数据策略和训练方案的透明性，旨在推动开源社区开发具有竞争力的视觉语言模型。

图像生成文本

Transformers

其他

#多模态视觉语言 #高效小参数 #文档图像理解

下载量 1,791

发布时间 : 1/10/2025

模型介绍

内容详情

替代品

模型简介

鹰隼2号-1B是一个紧凑高效的视觉语言模型，专为需要快速推理和最小计算资源的场景设计，同时保持核心性能。

模型特点

高效性能

在紧凑的1B参数规模下，仍能保持与更大模型竞争的性能。

多语言支持

支持多种语言的视觉语言理解任务。

长上下文处理

支持长达16K的上下文长度，适合处理复杂任务。

透明数据策略

强调数据策略的透明性，便于复现和创新。

模型能力

视觉语言理解

图像文本生成

多模态推理

文档理解

图表分析

使用案例

文档处理

DocVQA

文档视觉问答

测试集准确率81.8

图表分析

ChartQA

图表问答

测试集准确率77.0

视觉问答

TextVQA

文本视觉问答

验证集准确率76.6

许可协议: cc-by-nc-4.0 任务类型: 图像文本到文本库名称: transformers 基础模型:

google/paligemma-3b-mix-448
Qwen/Qwen2.5-0.5B-Instruct
google/siglip-so400m-patch14-384 基础模型关系: 融合语言:
多语言标签:
eagle
VLM

鹰隼2号

［📂 GitHub］［📜 Eagle2技术报告］［🤗 HF演示］

最新动态:

我们将模型架构升级为eagle_2_5_vl以支持generate生成功能。

简介

我们激动地发布最新鹰隼2系列视觉语言模型。开源视觉语言模型(VLMs)已显著缩小与专有模型的差距，但关键的数据策略和实施细节往往缺失，限制了可复现性和创新。本项目从数据中心的视角聚焦VLM后训练，分享从零构建有效数据策略的洞见。通过将这些策略与稳健的训练方案和模型设计相结合，我们推出了鹰隼2——一个高性能VLM家族。这项工作旨在赋能开源社区，以透明流程开发具有竞争力的VLMs。

本仓库开源了Eagle2-1B，这是一个紧凑高效的模型，专为需要快速推理和最小计算资源的场景设计，同时不牺牲核心性能。

模型库

我们提供以下模型:

模型名称	大语言模型	视觉模块	最大长度	HF链接
Eagle2-1B	Qwen2.5-0.5B-Instruct	Siglip	16K	🤗链接
Eagle2-2B	Qwen2.5-1.5B-Instruct	Siglip	16K	🤗链接
Eagle2-9B	Qwen2.5-7B-Instruct	Siglip+ConvNext	16K	🤗链接

基准测试结果

基准测试	LLaVa-One-Vision-0.5B	InternVL2-1B	InternVL2.5-1B	Qwen2-VL-2B	Eagle2-1B
DocVQA_测试集	70.0	81.7	84.8	90.1	81.8
ChartQA_测试集	61.4	72.9	75.9	73.0	77.0
InfoVQA_测试集	41.8	50.9	56.0	65.5	54.8
TextVQA_验证集	-	70.0	72.0	79.7	76.6
OCRBench	565	754	785	809	767
MME_总分	1438.0	1794.4	1950.5	1872.0	1790.2
RealWorldQA	55.6	50.3	57.5	62.6	55.4
AI2D_测试集	57.1	64.1	69.3	74.7	70.9
MMMU_验证集	31.4	36.7	40.9	41.1	38.8
MMVet_GPT-4-Turbo	32.2	32.7	48.8	49.5	40.9
MathVista_{测试迷你集}	33.8	37.7	43.2	43.0	45.3
MMstar	37.7	45.7	50.1	48.0	48.5