🚀 Eagle模型卡片
Eagle是一系列以视觉为中心的高分辨率多模态大语言模型,通过融合多种视觉编码器和不同输入分辨率,增强了多模态大语言模型的感知能力。该模型在多模态大语言模型基准测试中表现出色,尤其在光学字符识别和文档理解等对分辨率敏感的任务上取得了优异成绩。
🚀 快速开始
如果你想使用Eagle模型进行推理,可以参考以下步骤和代码示例。
✨ 主要特性
- 多模态融合:采用基于通道拼接的“CLIP+X”融合方式,结合不同架构(ViT/ConvNets)和知识(检测/分割/OCR/SSL)的视觉专家。
- 高分辨率支持:支持超过1K的输入分辨率,在高分辨率任务中表现出色。
- 广泛应用:适用于多模态大语言模型的研究和聊天机器人开发。
📚 详细文档
模型详情

BibTeX引用
@article{shi2024eagle,
title = {Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders},
author={Min Shi and Fuxiao Liu and Shihao Wang and Shijia Liao and Subhashree Radhakrishnan and De-An Huang and Hongxu Yin and Karan Sapra and Yaser Yacoob and Humphrey Shi and Bryan Catanzaro and Andrew Tao and Jan Kautz and Zhiding Yu and Guilin Liu},
journal={arXiv:2408.15998},
year={2024}
}
许可证
模型架构
输入
属性 |
详情 |
输入类型 |
图像、文本 |
输入格式 |
红、绿、蓝;字符串 |
输出
预期用途
- 主要预期用途:Eagle的主要用途是用于大型多模态模型和聊天机器人的研究。
- 主要预期用户:该模型的主要预期用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。
伦理考量
NVIDIA认为可信人工智能是一项共同责任,我们已经制定了政策和实践,以支持广泛的人工智能应用开发。当开发者按照我们的服务条款下载或使用该模型时,应与内部模型团队合作,确保该模型满足相关行业和用例的要求,并解决意外的产品滥用问题。
💻 使用示例
基础用法
import os
import torch
import numpy as np
from eagle import conversation as conversation_lib
from eagle.constants import DEFAULT_IMAGE_TOKEN
from eagle.constants import IMAGE_TOKEN_INDEX, DEFAULT_IMAGE_TOKEN, DEFAULT_IM_START_TOKEN, DEFAULT_IM_END_TOKEN
from eagle.conversation import conv_templates, SeparatorStyle
from eagle.model.builder import load_pretrained_model
from eagle.utils import disable_torch_init
from eagle.mm_utils import tokenizer_image_token, get_model_name_from_path, process_images, KeywordsStoppingCriteria
from PIL import Image
import argparse
from transformers import TextIteratorStreamer
from threading import Thread
model_path = "NVEagle/Eagle-X5-13B-Chat"
conv_mode = "vicuna_v1"
image_path = "assets/georgia-tech.jpeg"
input_prompt = "Describe this image."
model_name = get_model_name_from_path(model_path)
tokenizer, model, image_processor, context_len = load_pretrained_model(model_path,None,model_name,False,False)
if model.config.mm_use_im_start_end:
input_prompt = DEFAULT_IM_START_TOKEN + DEFAULT_IMAGE_TOKEN + DEFAULT_IM_END_TOKEN + '\n' + input_prompt
else:
input_prompt = DEFAULT_IMAGE_TOKEN + '\n' + input_prompt
conv = conv_templates[conv_mode].copy()
conv.append_message(conv.roles[0], input_prompt)
conv.append_message(conv.roles[1], None)
prompt = conv.get_prompt()
image = Image.open(image_path).convert('RGB')
image_tensor = process_images([image], image_processor, model.config)[0]
input_ids = tokenizer_image_token(prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors='pt')
input_ids = input_ids.to(device='cuda', non_blocking=True)
image_tensor = image_tensor.to(dtype=torch.float16, device='cuda', non_blocking=True)
with torch.inference_mode():
output_ids = model.generate(
input_ids.unsqueeze(0),
images=image_tensor.unsqueeze(0),
image_sizes=[image.size],
do_sample=True,
temperature=0.2,
top_p=0.5,
num_beams=1,
max_new_tokens=256,
use_cache=True)
outputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0].strip()
print(f"Image:{image_path} \nPrompt:{input_prompt} \nOutput:{outputs}")
高级用法
目前文档未提供高级用法示例,你可以参考基础用法进行模型推理。
推荐的操作系统
Linux