Qwen2.5 VL 72B Instruct FP8 Dynamic

由 RedHatAI 开发

Qwen2.5-VL-72B-Instruct的FP8量化版本，支持视觉-文本输入和文本输出，适用于多模态任务。

文本生成图像

Transformers

英语

开源协议:Apache-2.0 #多模态视觉问答 #FP8量化加速 #72B大模型推理

下载量 1,837

发布时间 : 2/6/2025

模型介绍

内容详情

替代品

模型简介

该模型是基于Qwen2.5-VL-72B-Instruct的量化版本，通过FP8权重量化和激活量化优化，适用于vLLM推理。

模型特点

FP8量化

权重量化和激活量化均采用FP8数据类型，提高推理效率。

多模态支持

支持视觉和文本输入，能够理解和生成与图像相关的文本内容。

高效推理

优化后的模型在vLLM后端上实现高效部署，提升推理速度。

模型能力

视觉问答

图像描述生成

多模态推理

文档理解

图表分析

使用案例

教育

教学辅助

解析教材中的图表和图像内容，生成解释性文本。

在MMMU评估中达到66.88分

商业分析

文档理解

自动解析商业文档中的图表和数据。

在DocVQA评估中达到94.64 ANLS分数

标签:

vllm
视觉
fp8 许可证: apache-2.0 许可证链接: >- https://huggingface.co/datasets/choosealicense/licenses/blob/main/markdown/apache-2.0.md 语言:
英文基础模型: Qwen/Qwen2.5-VL-72B-Instruct 库名称: transformers

Qwen2.5-VL-72B-Instruct-quantized-FP8-Dynamic

模型概述

模型架构: Qwen2.5-VL-72B-Instruct
- 输入: 视觉-文本
- 输出: 文本
模型优化:
- 权重量化: FP8
- 激活量化: FP8
发布日期: 2025年2月24日
版本: 1.0
模型开发者: Neural Magic

Qwen/Qwen2.5-VL-72B-Instruct的量化版本。

模型优化

该模型通过将Qwen/Qwen2.5-VL-72B-Instruct的权重量化为FP8数据类型获得，可用于vLLM >= 0.5.2的推理。

部署

使用vLLM

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# 准备模型
llm = LLM(
    model="neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic",
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# 准备输入
question = "这张图片的内容是什么？"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
    },
}

# 生成响应
print("========== 示例生成 ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"提示  : {outputs[0].prompt}")
print(f"响应: {outputs[0].outputs[0].text}")
print("==================================")

vLLM还支持与OpenAI兼容的服务。更多详情请参阅文档。

创建

该模型是通过llm-compressor创建的，作为多模态公告博客的一部分运行以下代码片段。

模型创建代码

import requests
import torch
from PIL import Image
from transformers import AutoProcessor
from llmcompressor.transformers import oneshot
from llmcompressor.transformers.tracing import (
    TraceableQwen2_5_VLForConditionalGeneration,
)
from llmcompressor.modifiers.quantization import QuantizationModifier

# 加载模型
model_id = Qwen/Qwen2.5-VL-72B-Instruct
model = TraceableQwen2_5_VLForConditionalGeneration.from_pretrained(
    model_id, device_map="auto", torch_dtype="auto"
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

# 配方
recipe = [
    QuantizationModifier(
        targets="Linear",
        scheme="FP8_DYNAMIC",
        sequential_targets=["MistralDecoderLayer"],
        ignore=["re:.*lm_head", "re:vision_tower.*", "re:multi_modal_projector.*"],
    ),
]

SAVE_DIR=f"{model_id.split('/')[1]}-FP8-Dynamic"

# 执行oneshot
oneshot(
    model=model,
    recipe=recipe,
    trust_remote_code_model=True,
    output_dir=SAVE_DIR
)

评估

该模型使用mistral-evals进行视觉相关任务的评估，并使用lm_evaluation_harness进行部分基于文本的基准测试。评估使用以下命令进行：

评估命令

视觉任务

vqav2
docvqa
mathvista
mmmu
chartqa

vllm serve neuralmagic/pixtral-12b-quantized.w8a8 --tensor_parallel_size 1 --max_model_len 25000 --trust_remote_code --max_num_seqs 8 --gpu_memory_utilization 0.9 --dtype float16 --limit_mm_per_prompt image=7

python -m eval.run eval_vllm \
        --model_name neuralmagic/pixtral-12b-quantized.w8a8 \
        --url http://0.0.0.0:8000 \
        --output_dir ~/tmp \
        --eval_name <vision_task_name>

基于文本的任务

MMLU

lm_eval \
  --model vllm \
  --model_args pretrained="<model_name>",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=<n>,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True \
  --tasks mmlu \
  --num_fewshot 5 \
  --batch_size auto \
  --output_path output_dir

MGSM

lm_eval \
  --model vllm \
  --model_args pretrained="<model_name>",dtype=auto,max_model_len=4096,max_gen_toks=2048,max_num_seqs=128,tensor_parallel_size=<n>,gpu_memory_utilization=0.9 \
  --tasks mgsm_cot_native \
  --apply_chat_template \
  --num_fewshot 0 \
  --batch_size auto \
  --output_path output_dir

准确率

类别	指标	Qwen/Qwen2.5-VL-72B-Instruct	neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic	恢复率 (%)
视觉	MMMU (val, CoT) explicit_prompt_relaxed_correctness	64.33	66.88	103.96%
	VQAv2 (val) vqa_match	81.94	81.94	100.00%
	DocVQA (val) anls	94.71	94.64	99.93%
	ChartQA (test, CoT) anywhere_in_answer_relaxed_correctness	88.96	89.04	100.09%
	Mathvista (testmini, CoT) explicit_prompt_relaxed_correctness	78.18	77.78	99.49%
	平均得分	81.62	81.86	100.29%
文本	MGSM (CoT)	75.45	75.29	99.79%
文本	MMLU (5-shot)	86.16	86.12	99.95%

推理性能

该模型在单流部署中实现了高达1.79倍的加速，在多流异步部署中实现了高达1.84倍的加速，具体取决于硬件和使用场景。以下性能基准测试使用vLLM版本0.7.2和GuideLLM进行。

基准测试命令

``` guidellm --model neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic --target "http://localhost:8000/v1" --data-type emulated --data prompt_tokens=,generated_tokens=,images=,width=,height= --max seconds 120 --backend aiohttp_server ```

单流性能（使用vLLM版本0.7.2测量）

Clip Vit Large Patch14 336

基于Vision Transformer架构的大规模视觉语言预训练模型，支持图像与文本的跨模态理解

FashionCLIP是基于CLIP开发的视觉语言模型，专门针对时尚领域进行微调，能够生成通用产品表征。

Gemma 3是Google推出的轻量级先进开放模型系列，基于与Gemini模型相同的研究和技术构建。

BLIP是一个统一的视觉语言预训练框架，擅长视觉问答任务，通过语言-图像联合训练实现多模态理解与生成能力

CLIP ViT H 14 Laion2b S32b B79k

MIT

基于OpenCLIP框架在LAION-2B英文数据集上训练的视觉-语言模型，支持零样本图像分类和跨模态检索任务

CLIP ViT B 32 Laion2b S34b B79k

MIT

基于OpenCLIP框架在LAION-2B英语子集上训练的视觉-语言模型，支持零样本图像分类和跨模态检索

PickScore v1 是一个针对文本生成图像的评分函数，可用于预测人类偏好、评估模型性能和图像排序等任务。

Owlv2 Base Patch16 Ensemble

Apache-2.0

OWLv2是一种零样本文本条件目标检测模型，可通过文本查询在图像中定位对象。

Llama 3.2 11B Vision Instruct

Llama 3.2 是 Meta 发布的多语言多模态大型语言模型，支持图像文本到文本的转换任务，具备强大的跨模态理解能力。

OWL-ViT是一个零样本文本条件目标检测模型，可以通过文本查询搜索图像中的对象，无需特定类别的训练数据。

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签

				文档视觉问答 1680W x 2240H 64/128		视觉推理 640W x 480H 128/128		图像描述 480W x 360H 0/128
硬件	GPU数量	模型	平均成本降低	延迟 (秒)	每美元查询数	延迟 (秒)	每美元查询数	延迟 (秒)	每美元查询数
A100	4	Qwen/Qwen2.5-VL-72B-Instruct		6.4	78	4.5	111	4.4	113
	2	neuralmagic/Qwen2.5-VL-72B-Instruct-quantized.w8a8	1.85	7.0	143	4.9	205	4.8	211
	1	neuralmagic/Qwen2.5-VL-72B-Instruct-quantized.w4a16	3.33	9.4	213	5.1	396	4.8	420
H100	4	Qwen/Qwen2.5-VL-72B-Instruct		4.3	68	3.0	97