🚀 鹰（Eagle）模型卡片

鹰（Eagle）是一系列以视觉为中心的高分辨率多模态大语言模型，旨在通过融合多种视觉编码器和不同输入分辨率，增强多模态大语言模型的感知能力。该模型家族支持超过 1K 的输入分辨率，在多模态大语言模型基准测试中取得了优异成绩，尤其在光学字符识别和文档理解等对分辨率敏感的任务上表现出色。

🚀 快速开始

推理示例

以下是一个使用鹰（Eagle）模型进行推理的示例代码：

import os
import torch
import numpy as np
from eagle import conversation as conversation_lib
from eagle.constants import DEFAULT_IMAGE_TOKEN
from eagle.constants import IMAGE_TOKEN_INDEX, DEFAULT_IMAGE_TOKEN, DEFAULT_IM_START_TOKEN, DEFAULT_IM_END_TOKEN
from eagle.conversation import conv_templates, SeparatorStyle
from eagle.model.builder import load_pretrained_model
from eagle.utils import disable_torch_init
from eagle.mm_utils import tokenizer_image_token, get_model_name_from_path, process_images, KeywordsStoppingCriteria
from PIL import Image
import argparse
from transformers import TextIteratorStreamer
from threading import Thread

model_path = "NVEagle/Eagle-X5-13B-Chat"
conv_mode = "vicuna_v1"
image_path = "assets/georgia-tech.jpeg"
input_prompt = "Describe this image."

model_name = get_model_name_from_path(model_path)
tokenizer, model, image_processor, context_len = load_pretrained_model(model_path,None,model_name,False,False)
if model.config.mm_use_im_start_end:
    input_prompt = DEFAULT_IM_START_TOKEN + DEFAULT_IMAGE_TOKEN + DEFAULT_IM_END_TOKEN + '\n' + input_prompt
else:
    input_prompt = DEFAULT_IMAGE_TOKEN + '\n' + input_prompt

conv = conv_templates[conv_mode].copy()
conv.append_message(conv.roles[0], input_prompt)
conv.append_message(conv.roles[1], None)
prompt = conv.get_prompt()

image = Image.open(image_path).convert('RGB')
image_tensor = process_images([image], image_processor, model.config)[0]
input_ids = tokenizer_image_token(prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors='pt')

input_ids = input_ids.to(device='cuda', non_blocking=True)
image_tensor = image_tensor.to(dtype=torch.float16, device='cuda', non_blocking=True)

with torch.inference_mode():
    output_ids = model.generate(
        input_ids.unsqueeze(0),
        images=image_tensor.unsqueeze(0),
        image_sizes=[image.size],
        do_sample=True,
        temperature=0.2,
        top_p=0.5,
        num_beams=1,
        max_new_tokens=256,
        use_cache=True)

outputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0].strip()
print(f"Image:{image_path} \nPrompt:{input_prompt} \nOutput:{outputs}")

推荐/支持的操作系统：Linux

✨ 主要特性

• 多模态融合：采用基于通道拼接的 “CLIP+X” 融合方式，融合不同架构（ViT/卷积网络）和知识（检测/分割/OCR/自监督学习）的视觉专家。
• 高分辨率支持：支持超过 1K 的输入分辨率，在多模态大语言模型基准测试中取得优异成绩，尤其在对分辨率敏感的任务上表现出色。

📚 详细文档

模型详情

• 模型类型：鹰（Eagle）是一系列以视觉为中心的高分辨率多模态大语言模型。该模型对通过融合多种视觉编码器和不同输入分辨率来增强多模态大语言模型的感知能力进行了深入探索。模型包含基于通道拼接的 “CLIP+X” 融合，用于融合不同架构（ViT/卷积网络）和知识（检测/分割/OCR/自监督学习）的视觉专家。由此产生的鹰（Eagle）模型家族支持超过 1K 的输入分辨率，并在多模态大语言模型基准测试中取得了优异成绩，尤其在光学字符识别和文档理解等对分辨率敏感的任务上表现出色。

• 更多信息的论文或资源：
  • GitHub
  • arXiv
  • 演示
  • Huggingface

@article{shi2024eagle,
    title = {Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders}, 
    author={Min Shi and Fuxiao Liu and Shihao Wang and Shijia Liao and Subhashree Radhakrishnan and De-An Huang and Hongxu Yin and Karan Sapra and Yaser Yacoob and Humphrey Shi and Bryan Catanzaro and Andrew Tao and Jan Kautz and Zhiding Yu and Guilin Liu},
    journal={arXiv:2408.15998},
    year={2024}
}

预期用途

• 主要预期用途：鹰（Eagle）模型主要用于大型多模态模型和聊天机器人的研究。
• 主要预期用户：该模型的主要预期用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

伦理考量

英伟达认为可信人工智能是一项共同责任，我们已经制定了相关政策和实践，以推动广泛的人工智能应用的发展。当开发者按照我们的服务条款下载或使用该模型时，应与内部模型团队合作，确保该模型符合相关行业和用例的要求，并解决不可预见的产品滥用问题。

📄 许可证

• 代码根据 LICENSE 文件中的 Apache 2.0 许可证发布。
• 预训练权重根据 CC - BY - NC - SA - 4.0 许可证 发布。
• 该服务仅供研究预览，仅用于非商业用途，并受以下许可证和条款的约束：
  • LLaMA 模型许可证
  • OpenAI 生成数据的使用条款
  • 训练期间使用的每个数据集的许可证

关于模型的问题或建议反馈地址：https://github.com/NVlabs/Eagle/issues

🔧 技术细节