许可证: mit 库名称: vllm 基础模型:

• deepseek-ai/DeepSeek-R1 管道标签: 文本生成 标签:
• deepseek
• neuralmagic
• redhat
• llmcompressor
• 量化
• INT4
• GPTQ

DeepSeek-R1-量化.w4a16

模型概述

• 模型架构: DeepseekV3ForCausalLM
  • 输入: 文本
  • 输出: 文本
• 模型优化:
  • 激活量化: 无
  • 权重量化: INT4
• 发布日期: 2025年4月15日
• 版本: 1.0
• 模型开发者: Red Hat (Neural Magic)

模型优化

该模型是通过将DeepSeek-R1的权重量化为INT4数据类型而获得的。 这一优化将用于表示权重的位数从8位减少到4位，从而降低了GPU内存需求（约减少50%）。 权重量化还将磁盘空间需求减少了约50%。

部署

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "RedHatAI/DeepSeek-R1-quantized.w4a16"
gpu数量 = 8

采样参数 = SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256)

分词器 = AutoTokenizer.from_pretrained(model_id)

提示 = "请简要介绍一下大型语言模型。"

llm = LLM(model=model_id, tensor_parallel_size=gpu数量)

输出 = llm.generate(提示, 采样参数)

生成文本 = 输出[0].outputs[0].text
print(生成文本)

vLLM还支持与OpenAI兼容的服务。更多详情请参阅文档。

评估

该模型通过lm-evaluation-harness在OpenLLM排行榜任务（v1）上进行了评估，并通过LightEval在流行的推理任务（AIME 2024、MATH-500、GPQA-Diamond）上进行了评估。 对于推理评估，我们基于10次不同种子的运行估计了pass@1。

lm_eval \
  --model vllm \
  --model_args pretrained="RedHatAI/DeepSeek-R1-quantized.w4a16",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=8,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True \
  --tasks openllm \
  --batch_size auto

export MODEL_ARGS="pretrained=RedHatAI/DeepSeek-R1-quantized.w4a16,dtype=bfloat16,max_model_length=38768,gpu_memory_utilization=0.8,tensor_parallel_size=8,add_special_tokens=false,generation_parameters={\"max_new_tokens\":32768,\"temperature\":0.6,\"top_p\":0.95,\"seed\":42}"
export VLLM_WORKER_MULTIPROC_METHOD=spawn
lighteval vllm $MODEL_ARGS "custom|aime24|0|0,custom|math_500|0|0,custom|gpqa:diamond|0|0" \
    --custom-tasks src/open_r1/evaluate.py \
    --use-chat-template \
    --output-dir $OUTPUT_DIR

准确率