Qwen2.5 VL 72B Instruct FP8 Dynamic

由 parasail-ai 开发

Qwen2.5-VL-72B-Instruct的FP8量化版本，支持视觉-文本输入和文本输出，由Neural Magic优化发布。

图像生成文本

Transformers

英语

开源协议:Apache-2.0 #多模态视觉问答 #FP8量化推理 #大语言模型

下载量 78

发布时间 : 4/18/2025

模型介绍

内容详情

替代品

模型简介

这是一个基于Qwen2.5-VL-72B-Instruct的量化模型，通过FP8权重量化和激活量化优化，适用于多模态任务处理。

模型特点

FP8量化

采用FP8权重量化和激活量化技术，显著减少模型大小和内存占用

多模态支持

能够同时处理视觉和文本输入，执行复杂的多模态任务

高效推理

优化后可在vLLM框架下实现高效推理，支持单流和多流部署

模型能力

视觉问答

图像描述生成

文档理解

多模态推理

文本生成

使用案例

教育

教育内容理解

解析教材中的图表和文字内容

在MMMU评估中达到66.88%准确率

商业

文档分析

自动理解和提取商业文档中的关键信息

在DocVQA评估中达到94.64%准确率

通用AI助手

多模态对话

基于图像和文本输入进行自然对话

在VQAv2评估中保持81.94%准确率

标签:

vllm
视觉
fp8 许可证: apache-2.0 许可证链接: >- https://huggingface.co/datasets/choosealicense/licenses/blob/main/markdown/apache-2.0.md 语言:
英文基础模型: Qwen/Qwen2.5-VL-72B-Instruct 库名称: transformers

Qwen2.5-VL-72B-Instruct-quantized-FP8-Dynamic

模型概述

模型架构: Qwen2.5-VL-72B-Instruct
- 输入: 视觉-文本
- 输出: 文本
模型优化:
- 权重量化: FP8
- 激活量化: FP8
发布日期: 2025年2月24日
版本: 1.0
模型开发者: Neural Magic

Qwen/Qwen2.5-VL-72B-Instruct的量化版本。

模型优化

该模型通过将Qwen/Qwen2.5-VL-72B-Instruct的权重量化为FP8数据类型获得，可与vLLM >= 0.5.2进行推理。

部署

使用vLLM

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm.assets.image import ImageAsset
from vllm import LLM, SamplingParams

# 准备模型
llm = LLM(
    model="neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic",
    trust_remote_code=True,
    max_model_len=4096,
    max_num_seqs=2,
)

# 准备输入
question = "这张图片的内容是什么？"
inputs = {
    "prompt": f"<|user|>\n<|image_1|>\n{question}<|end|>\n<|assistant|>\n",
    "multi_modal_data": {
        "image": ImageAsset("cherry_blossom").pil_image.convert("RGB")
    },
}

# 生成响应
print("========== 示例生成 ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
print(f"提示  : {outputs[0].prompt}")
print(f"响应: {outputs[0].outputs[0].text}")
print("==================================")

vLLM还支持与OpenAI兼容的服务。更多详情请参阅文档。

创建

该模型是通过llm-compressor创建的，作为多模态公告博客的一部分运行以下代码片段。

模型创建代码

import requests
import torch
from PIL import Image
from transformers import AutoProcessor
from llmcompressor.transformers import oneshot
from llmcompressor.transformers.tracing import (
    TraceableQwen2_5_VLForConditionalGeneration,
)
from llmcompressor.modifiers.quantization import QuantizationModifier

# 加载模型
model_id = Qwen/Qwen2.5-VL-72B-Instruct
model = TraceableQwen2_5_VLForConditionalGeneration.from_pretrained(
    model_id, device_map="auto", torch_dtype="auto"
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

# 配方
recipe = [
    QuantizationModifier(
        targets="Linear",
        scheme="FP8_DYNAMIC",
        sequential_targets=["MistralDecoderLayer"],
        ignore=["re:.*lm_head", "re:vision_tower.*", "re:multi_modal_projector.*"],
    ),
]

SAVE_DIR=f"{model_id.split('/')[1]}-FP8-Dynamic"

# 执行一次性量化
oneshot(
    model=model,
    recipe=recipe,
    trust_remote_code_model=True,
    output_dir=SAVE_DIR
)

评估

该模型使用mistral-evals进行视觉相关任务的评估，并使用lm_evaluation_harness进行部分基于文本的基准测试。评估使用以下命令进行：

评估命令

视觉任务

vqav2
docvqa
mathvista
mmmu
chartqa

vllm serve neuralmagic/pixtral-12b-quantized.w8a8 --tensor_parallel_size 1 --max_model_len 25000 --trust_remote_code --max_num_seqs 8 --gpu_memory_utilization 0.9 --dtype float16 --limit_mm_per_prompt image=7

python -m eval.run eval_vllm \
        --model_name neuralmagic/pixtral-12b-quantized.w8a8 \
        --url http://0.0.0.0:8000 \
        --output_dir ~/tmp \
        --eval_name <vision_task_name>

基于文本的任务

MMLU

lm_eval \
  --model vllm \
  --model_args pretrained="<model_name>",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=<n>,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True \
  --tasks mmlu \
  --num_fewshot 5 \
  --batch_size auto \
  --output_path output_dir

MGSM

lm_eval \
  --model vllm \
  --model_args pretrained="<model_name>",dtype=auto,max_model_len=4096,max_gen_toks=2048,max_num_seqs=128,tensor_parallel_size=<n>,gpu_memory_utilization=0.9 \
  --tasks mgsm_cot_native \
  --apply_chat_template \
  --num_fewshot 0 \
  --batch_size auto \
  --output_path output_dir

准确率

类别	指标	Qwen/Qwen2.5-VL-72B-Instruct	neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic	恢复率 (%)
视觉	MMMU (val, CoT) explicit_prompt_relaxed_correctness	64.33	66.88	103.96%
	VQAv2 (val) vqa_match	81.94	81.94	100.00%
	DocVQA (val) anls	94.71	94.64	99.93%
	ChartQA (test, CoT) anywhere_in_answer_relaxed_correctness	88.96	89.04	100.09%
	Mathvista (testmini, CoT) explicit_prompt_relaxed_correctness	78.18	77.78	99.49%
	平均得分	81.62	81.86	100.29%
文本	MGSM (CoT)	75.45	75.29	99.79%
文本	MMLU (5-shot)	86.16	86.12	99.95%

推理性能

该模型在单流部署中实现了高达1.79倍的加速，在多流异步部署中实现了高达1.84倍的加速，具体取决于硬件和使用场景。以下性能基准测试使用vLLM版本0.7.2和GuideLLM进行。

基准测试命令

``` guidellm --model neuralmagic/Qwen2.5-VL-72B-Instruct-FP8-Dynamic --target "http://localhost:8000/v1" --data-type emulated --data prompt_tokens=,generated_tokens=,images=,width=,height= --max seconds 120 --backend aiohttp_server ```

单流性能（使用vLLM版本0.7.2测量）

Clip Vit Large Patch14

CLIP是由OpenAI开发的视觉-语言模型，通过对比学习将图像和文本映射到共享的嵌入空间，支持零样本图像分类

Clip Vit Base Patch32

CLIP是由OpenAI开发的多模态模型，能够理解图像和文本之间的关系，支持零样本图像分类任务。

Siglip So400m Patch14 384

Apache-2.0

SigLIP是基于WebLi数据集预训练的视觉语言模型，采用改进的sigmoid损失函数，优化了图像-文本匹配任务。

Clip Vit Base Patch16

CLIP是由OpenAI开发的多模态模型，通过对比学习将图像和文本映射到共享的嵌入空间，实现零样本图像分类能力。

Blip Image Captioning Base

Bsd-3-clause

BLIP是一个先进的视觉-语言预训练模型，擅长图像描述生成任务，支持条件式和非条件式文本生成。

Blip Image Captioning Large

Bsd-3-clause

BLIP是一个统一的视觉-语言预训练框架，擅长图像描述生成任务，支持条件式和无条件式图像描述生成。

OpenVLA 7B是一个基于Open X-Embodiment数据集训练的开源视觉-语言-动作模型，能够根据语言指令和摄像头图像生成机器人动作。

LLaVA 是一款开源多模态聊天机器人，基于 LLaMA/Vicuna 微调，支持图文交互。

Vit Gpt2 Image Captioning

Apache-2.0

这是一个基于ViT和GPT2架构的图像描述生成模型，能够为输入图像生成自然语言描述。

BLIP-2是一个视觉语言模型，结合了图像编码器和大型语言模型，用于图像到文本的生成任务。

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签

				文档视觉问答 1680W x 2240H 64/128		视觉推理 640W x 480H 128/128		图像描述 480W x 360H 0/128
硬件	GPU数量	模型	平均成本降低	延迟 (秒)	每美元查询数	延迟 (秒)	每美元查询数	延迟 (秒)	每美元查询数
A100	4	Qwen/Qwen2.5-VL-72B-Instruct		6.4	78	4.5	111	4.4	113
	2	neuralmagic/Qwen2.5-VL-72B-Instruct-quantized.w8a8	1.85	7.0	143	4.9	205	4.8	211
	1	neuralmagic/Qwen2.5-VL-72B-Instruct-quantized.w4a16	3.33	9.4	213	5.1	396	4.8	420
H100	4	Qwen/Qwen2.5-VL-72B-Instruct		4.3	68	3.0	97