license: mit tags:

• deepseek
• int8
• vllm
• llmcompressor base_model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B library_name: transformers

DeepSeek-R1-Distill-Qwen-14B-quantized.w8a8

模型概述

• 模型架构: Qwen2ForCausalLM
  • 输入: 文本
  • 输出: 文本
• 模型优化:
  • 权重量化: INT8
  • 激活量化: INT8
• 发布日期: 2025年2月4日
• 版本: 1.0
• 模型开发者: Neural Magic

DeepSeek-R1-Distill-Qwen-14B的量化版本。

模型优化

该模型通过对DeepSeek-R1-Distill-Qwen-14B的权重和激活进行INT8量化获得。该优化将表示权重和激活的比特数从16位减少到8位，降低了GPU内存需求（约50%），并提高了矩阵乘法计算吞吐量（约2倍）。权重量化还将磁盘空间需求减少了约50%。

仅对transformer块内线性运算符的权重和激活进行量化。权重采用逐通道对称量化方案，而量化采用逐令牌对称方案。量化应用了GPTQ算法，该算法在llm-compressor库中实现。

与vLLM一起使用

该模型可以使用vLLM后端高效部署，如下例所示。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

number_gpus = 1
model_name = "neuralmagic/DeepSeek-R1-Distill-Qwen-14B-quantized.w8a8"

tokenizer = AutoTokenizer.from_pretrained(model_name)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)

messages_list = [
    [{"role": "user", "content": "你是谁？请用海盗的语气回答！"}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

vLLM还支持与OpenAI兼容的服务。更多详情请参阅文档。

创建

该模型通过运行以下代码片段使用llm-compressor创建。

from transformers import AutoModelForCausalLM, AutoTokenizer
from llmcompressor.modifiers.quantization import QuantizationModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier
from llmcompressor.transformers import oneshot

# 加载模型
model_stub = "deepseek-ai/DeepSeek-R1-Distill-Qwen-14B"
model_name = model_stub.split("/")[-1]

num_samples = 1024
max_seq_len = 8192

tokenizer = AutoTokenizer.from_pretrained(model_stub)

model = AutoModelForCausalLM.from_pretrained(
    model_stub,
    device_map="auto",
    torch_dtype="auto",
)

def preprocess_fn(example):
  return {"text": tokenizer.apply_chat_template(example["messages"], add_generation_prompt=False, tokenize=False)}

ds = load_dataset("neuralmagic/LLM_compression_calibration", split="train")
ds = ds.map(preprocess_fn)

# 配置量化算法和方案
recipe = [
    SmoothQuantModifier(smoothing_strength=0.8),
    QuantizationModifier(
        targets="Linear",
        scheme="W8A8",
        ignore=["lm_head"],
        dampening_frac=0.1,
    ),
]

# 应用量化
oneshot(
    model=model,
    dataset=ds, 
    recipe=recipe,
    max_seq_length=max_seq_len,
    num_calibration_samples=num_samples,
)

# 以compressed-tensors格式保存到磁盘
save_path = model_name + "-quantized.w8a8
model.save_pretrained(save_path)
tokenizer.save_pretrained(save_path)
print(f"模型和分词器已保存至: {save_path}")

评估

该模型在OpenLLM Leaderboard V1和V2上进行了评估，使用以下命令：

OpenLLM Leaderboard V1:

lm_eval \
  --model vllm \
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Qwen-14B-quantized.w8a8",dtype=auto,max_model_len=4096,tensor_parallel_size=1,enable_chunked_prefill=True \
  --tasks openllm \
  --write_out \
  --batch_size auto \
  --output_path output_dir \
  --show_config

OpenLLM Leaderboard V2:

lm_eval \
  --model vllm \
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Qwen-14B-quantized.w8a8",dtype=auto,max_model_len=4096,tensor_parallel_size=1,enable_chunked_prefill=True \
  --apply_chat_template \
  --fewshot_as_multiturn \
  --tasks leaderboard \
  --write_out \
  --batch_size auto \
  --output_path output_dir \
  --show_config

准确率

推理性能

该模型在单流和多流异步部署中实现了高达1.6倍的加速，具体取决于硬件和使用场景。以下性能基准测试使用vLLM版本0.7.2和GuideLLM进行。

guidellm --model neuralmagic/DeepSeek-R1-Distill-Qwen-14B-quantized.w8a8 --target "http://localhost:8000/v1" --data-type emulated --data "prompt_tokens=<prompt_tokens>,generated_tokens=<generated_tokens>" --max seconds 360 --backend aiohttp_server

单流性能（使用