库名称: transformers
许可证: apache-2.0
流水线标签: 文本生成
基础模型:

• Qwen/Qwen3-30B-A3B
  标签:
• neuralmagic
• redhat
• llmcompressor
• 量化
• FP8

Qwen3-30B-A3B-FP8-dynamic

模型概述

• 模型架构: Qwen3MoeForCausalLM
  • 输入: 文本
  • 输出: 文本
• 模型优化:
  • 激活量化: FP8
  • 权重量化: FP8
• 预期用途:
  • 推理
  • 函数调用
  • 通过微调成为领域专家
  • 多语言指令遵循
  • 翻译
• 非适用范围: 任何违反适用法律法规（包括贸易合规法律）的使用方式
• 发布日期: 2025年5月5日
• 版本: 1.0
• 模型开发者: RedHat (Neural Magic)

模型优化

该模型是通过将Qwen3-30B-A3B的激活和权重量化为FP8数据类型得到的。
这一优化将权重和激活的表示位数从16位减少到8位，从而降低了GPU内存需求（约减少50%）并提高了矩阵乘法计算吞吐量（约提升2倍）。
权重量化还使磁盘空间需求减少了约50%。

仅对transformer块内线性算子的权重和激活进行量化。
权重采用对称静态逐通道方案量化，而激活采用对称动态逐令牌方案量化。
量化使用了llm-compressor库。

部署

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm import LLM, SamplingParams  
from transformers import AutoTokenizer  

model_id = "RedHatAI/Qwen3-30B-A3B-FP8-dynamic"  
number_gpus = 1  
sampling_params = SamplingParams(temperature=0.6, top_p=0.95, top_k=20, min_p=0, max_tokens=256)  

messages = [  
    {"role": "user", "content": prompt}  
]  

tokenizer = AutoTokenizer.from_pretrained(model_id)  

messages = [{"role": "user", "content": "简要介绍一下大语言模型。"}]  

prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)  

llm = LLM(model=model_id, tensor_parallel_size=number_gpus)  

outputs = llm.generate(prompts, sampling_params)  

generated_text = outputs[0].outputs[0].text  
print(generated_text)  

vLLM还支持与OpenAI兼容的服务。更多详情请参阅文档。

创建

from llmcompressor.modifiers.quantization import QuantizationModifier  
from llmcompressor.transformers import oneshot  
from transformers import AutoModelForCausalLM, AutoTokenizer  

# 加载模型  
model_stub = "Qwen/Qwen3-30B-A3B"  
model_name = model_stub.split("/")[-1]  

model = AutoModelForCausalLM.from_pretrained(model_stub)  

tokenizer = AutoTokenizer.from_pretrained(model_stub)  

# 配置量化算法和方案  
recipe = QuantizationModifier(  
    ignore=["lm_head"],  
    targets="Linear",  
    scheme="FP8_dynamic",  
)  

# 应用量化  
oneshot(  
    model=model,  
    recipe=recipe,  
)  

# 以压缩张量格式保存到磁盘  
save_path = model_name + "-FP8-dynamic"  
model.save_pretrained(save_path)  
tokenizer.save_pretrained(save_path)  
print(f"模型和分词器已保存至: {save_path}")  

评估

该模型在OpenLLM排行榜任务（版本1）上进行了评估，使用了lm-evaluation-harness和vLLM。

lm_eval \  
  --model vllm \  
  --model_args pretrained="RedHatAI/Qwen3-30B-A3B-FP8-dynamic",dtype=auto,gpu_memory_utilization=0.5,max_model_len=8192,enable_chunk_prefill=True,tensor_parallel_size=1 \  
  --tasks openllm \  
  --apply_chat_template\  
  --fewshot_as_multiturn \  
  --batch_size auto  

准确率