Qwen3 32B FP8 Dynamic

由 RedHatAI 开发

基于Qwen3-32B进行FP8动态量化的高效语言模型，显著降低内存需求并提升计算效率

大型语言模型

Transformers

开源协议:Apache-2.0 #FP8量化 #多语言指令 #函数调用支持

下载量 917

发布时间 : 5/2/2025

模型介绍

内容详情

替代品

模型简介

该模型通过对Qwen3-32B的激活和权重进行FP8数据类型量化获得，降低了GPU内存需求约50%，提高了矩阵乘法计算吞吐量约2倍。适用于推理、函数调用、多语言指令跟随等任务。

模型特点

FP8量化

对权重和激活进行FP8数据类型量化，显著降低内存需求和提升计算效率

高效部署

支持通过vLLM后端高效部署，优化推理性能

高精度保持

量化后模型在多项基准测试中保持原始模型99%以上的准确率

模型能力

文本生成

函数调用

多语言指令跟随

翻译

推理任务处理

使用案例

通用AI助手

知识问答

回答各类知识性问题

在MMLU(5-shot)测试中达到80.89分

数学推理

解决数学问题和逻辑推理

在GSM-8K测试中达到88.32分

专业领域应用

医学问答

回答医学相关问题

在AIME 2024测试中达到79.37分

代码生成

根据描述生成代码

在代码生成任务中表现良好

库名称：transformers 许可证：apache-2.0 流水线标签：文本生成基础模型：

Qwen/Qwen3-32B 标签：
neuralmagic
redhat
llmcompressor
量化
FP8

Qwen3-32B-FP8-动态量化

模型概述

模型架构: Qwen3ForCausalLM
- 输入: 文本
- 输出: 文本
模型优化:
- 激活量化: FP8
- 权重量化: FP8
预期用例:
- 推理
- 函数调用
- 通过微调成为领域专家
- 多语言指令跟随
- 翻译
非适用范围: 任何违反适用法律法规（包括贸易合规法律）的使用方式
发布日期: 2025年5月2日
版本: 1.0
模型开发者: RedHat (Neural Magic)

模型优化

该模型通过对Qwen3-32B的激活和权重进行FP8数据类型量化获得。此优化将表示权重和激活的位数从16位减少到8位，降低了GPU内存需求（约减少50%）并提高了矩阵乘法计算吞吐量（约提升2倍）。权重量化还将磁盘空间需求减少了约50%。

仅对transformer块内线性算子的权重和激活进行量化。权重采用对称静态逐通道方案量化，而激活采用对称动态逐token方案量化。量化使用了llm-compressor库。

部署

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "RedHatAI/Qwen3-32B-FP8-dynamic"
number_gpus = 1
sampling_params = SamplingParams(temperature=0.6, top_p=0.95, top_k=20, min_p=0, max_tokens=256)

messages = [
    {"role": "user", "content": prompt}
]

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [{"role": "user", "content": "请简要介绍一下大语言模型。"}]

prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM还支持OpenAI兼容的服务。更多详情请参阅文档。

创建

创建详情

该模型通过运行以下代码片段使用[llm-compressor](https://github.com/vllm-project/llm-compressor)创建。

from llmcompressor.modifiers.quantization import QuantizationModifier
from llmcompressor.transformers import oneshot
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型
model_stub = "Qwen/Qwen3-32B"
model_name = model_stub.split("/")[-1]

model = AutoModelForCausalLM.from_pretrained(model_stub)

tokenizer = AutoTokenizer.from_pretrained(model_stub)

# 配置量化算法和方案
recipe = QuantizationModifier(
    ignore=["lm_head"],
    targets="Linear",
    scheme="FP8_dynamic",
)

# 应用量化
oneshot(
    model=model,
    recipe=recipe,
)

# 以压缩张量格式保存到磁盘
save_path = model_name + "-FP8-dynamic"
model.save_pretrained(save_path)
tokenizer.save_pretrained(save_path)
print(f"模型和分词器已保存至: {save_path}")

评估

该模型在OpenLLM排行榜任务（版本1和2）上使用lm-evaluation-harness进行评估，在推理任务上使用lighteval进行评估。所有评估均使用vLLM进行。

评估详情

lm-evaluation-harness

lm_eval \
  --model vllm \
  --model_args pretrained="RedHatAI/Qwen3-32B-FP8-dynamic",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2 \
  --tasks openllm \
  --apply_chat_template\
  --fewshot_as_multiturn \
  --batch_size auto

lm_eval \
  --model vllm \
  --model_args pretrained="RedHatAI/Qwen3-32B-FP8-dynamic",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=2 \
  --tasks mgsm \
  --apply_chat_template\
  --batch_size auto

lm_eval \
  --model vllm \
  --model_args pretrained="RedHatAI/Qwen3-32B-FP8-dynamic",dtype=auto,gpu_memory_utilization=0.5,max_model_len=16384,enable_chunk_prefill=True,tensor_parallel_size=2 \
  --tasks leaderboard \
  --apply_chat_template\
  --fewshot_as_multiturn \
  --batch_size auto

lighteval

lighteval_model_arguments.yaml

model_parameters:
  model_name: RedHatAI/Qwen3-32B-FP8-dynamic
  dtype: auto
  gpu_memory_utilization: 0.9
  tensor_parallel_size: 2
  max_model_length: 40960
  generation_parameters:
    temperature: 0.6
    top_k: 20
    min_p: 0.0
    top_p: 0.95
    max_new_tokens: 32768

lighteval vllm \
  --model_args lighteval_model_arguments.yaml \
  --tasks lighteval|aime24|0|0 \
  --use_chat_template = true

lighteval vllm \
  --model_args lighteval_model_arguments.yaml \
  --tasks lighteval|aime25|0|0 \
  --use_chat_template = true

lighteval vllm \
  --model_args lighteval_model_arguments.yaml \
  --tasks lighteval|math_500|0|0 \
  --use_chat_template = true

lighteval vllm \
  --model_args lighteval_model_arguments.yaml \
  --tasks lighteval|gpqa:diamond|0|0 \
  --use_chat_template = true

lighteval vllm \
  --model_args lighteval_model_arguments.yaml \
  --tasks extended|lcb:codegeneration \
  --use_chat_template = true

准确率

Phi 2 GGUF

其他

Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。

基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法

Distilbert Base Uncased

Apache-2.0

DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。

Llama 3.1 8B Instruct GGUF

Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调

OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。

Llama 3.1 8B Instruct

Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。

T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签

类别	基准测试	Qwen3-32B	Qwen3-32B-FP8-动态量化 (本模型)	恢复率
OpenLLM v1	MMLU (5-shot)	80.96	80.89	99.9%
	ARC挑战赛 (25-shot)	69.03	68.00	98.5%
	GSM-8K (5-shot, 严格匹配)	87.64	88.32	100.8%
	Hellaswag (10-shot)	71.10	71.44	100.5%
	Winogrande (5-shot)	69.77	69.85	100.1%
	TruthfulQA (0-shot, mc2)	58.63	59.13	100.9%
	平均	72.86	72.94	100.1%
OpenLLM v2	MMLU-Pro (5-shot)	54.24	54.78	101.0%
	IFEval (0-shot)	86.23	86.23	100.0%
	BBH (3-shot)	44.29	43.70	98.7%
	Math-lvl-5 (4-shot)	54.61	57.26	104.9%
	GPQA (0-shot)	5.53	5.46	---
	MuSR (0-shot)	7.85	8.81	---
	平均	42.13	42.71	101.4%
多语言	MGSM (0-shot)	32.57
推理 (生成)	AIME 2024	79.37	79.37	100.0%
	AIME 2025	71.77	70.42	98.1%
	GPQA diamond	66.67	68.69	103.0%
	Math-lvl-5	96.20	96.40	100.2%