开源协议: mit
标签:

• deepseek
• int8
• vllm
• llmcompressor
  基础模型: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
  库名称: transformers

DeepSeek-R1-Distill-Qwen-32B-量化版.w8a8

模型概览

• 模型架构: Qwen2ForCausalLM
  • 输入: 文本
  • 输出: 文本
• 模型优化:
  • 权重量化: INT8
  • 激活值量化: INT8
• 发布日期: 2025年2月5日
• 版本: 1.0
• 模型开发团队: Neural Magic

DeepSeek-R1-Distill-Qwen-32B的量化版本。

模型优化

本模型通过对DeepSeek-R1-Distill-Qwen-32B的权重和激活值进行INT8量化获得。
该优化将权重和激活值的比特数从16位降至8位，可减少约50%的GPU显存占用，并将矩阵乘法计算吞吐量提升约2倍。权重量化还能将磁盘存储需求降低约50%。

仅对transformer块内线性运算的权重和激活值进行量化。权重采用逐通道对称量化方案，激活值采用逐令牌对称量化方案。量化过程使用GPTQ算法，通过llm-compressor库实现。

使用vLLM部署

该模型可通过vLLM后端高效部署，示例如下：

from transformers import AutoTokenizer  
from vllm import LLM, SamplingParams  

number_gpus = 1  
model_name = "neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8"  

tokenizer = AutoTokenizer.from_pretrained(model_name)  
sampling_params = SamplingParams(temperature=0.6, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])  
llm = LLM(model=model_name, tensor_parallel_size=number_gpus, trust_remote_code=True)  

messages_list = [  
    [{"role": "user", "content": "你是谁？请用海盗口吻回答！"}],  
]  

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]  

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)  

generated_text = [output.outputs[0].text for output in outputs]  
print(generated_text)  

vLLM还支持OpenAI兼容的服务接口，详见文档。

创建过程

该模型通过运行以下代码片段使用llm-compressor创建：

from transformers import AutoModelForCausalLM, AutoTokenizer  
from llmcompressor.modifiers.quantization import QuantizationModifier  
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier  
from llmcompressor.transformers import oneshot  

# 加载模型  
model_stub = "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"  
model_name = model_stub.split("/")[-1]  

num_samples = 1024  
max_seq_len = 8192  

tokenizer = AutoTokenizer.from_pretrained(model_stub)  

model = AutoModelForCausalLM.from_pretrained(  
    model_stub,  
    device_map="auto",  
    torch_dtype="auto",  
)  

def preprocess_fn(example):  
  return {"text": tokenizer.apply_chat_template(example["messages"], add_generation_prompt=False, tokenize=False)}  

ds = load_dataset("neuralmagic/LLM_compression_calibration", split="train")  
ds = ds.map(preprocess_fn)  

# 配置量化算法和方案  
recipe = [  
    SmoothQuantModifier(smoothing_strength=0.8),  
    QuantizationModifier(  
        targets="Linear",  
        scheme="W8A8",  
        ignore=["lm_head"],  
        dampening_frac=0.01,  
    ),  
]  

# 应用量化  
oneshot(  
    model=model,  
    dataset=ds,   
    recipe=recipe,  
    max_seq_length=max_seq_len,  
    num_calibration_samples=num_samples,  
)  

# 以压缩张量格式保存到磁盘  
save_path = model_name + "-quantized.w8a8  
model.save_pretrained(save_path)  
tokenizer.save_pretrained(save_path)  
print(f"模型和分词器已保存至: {save_path}")  

评估

该模型在OpenLLM排行榜V1和V2上进行了评估，使用以下命令：

OpenLLM排行榜V1：

lm_eval \  
  --model vllm \  
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8",dtype=auto,max_model_len=4096,tensor_parallel_size=1,enable_chunked_prefill=True \  
  --tasks openllm \  
  --write_out \  
  --batch_size auto \  
  --output_path output_dir \  
  --show_config  

OpenLLM排行榜V2：

lm_eval \  
  --model vllm \  
  --model_args pretrained="neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8",dtype=auto,max_model_len=4096,tensor_parallel_size=1,enable_chunked_prefill=True \  
  --apply_chat_template \  
  --fewshot_as_multiturn \  
  --tasks leaderboard \  
  --write_out \  
  --batch_size auto \  
  --output_path output_dir \  
  --show_config  

准确率

类别	指标	deepseek-ai/DeepSeek-R1-Distill-Qwen-32B	neuralmagic/DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8	恢复率
推理能力	AIME 2024 (pass@1)	69.75	68.17	97.73%
	MATH-500 (pass@1)	95.09	94.98	99.88%
	GPQA Diamond (pass@1)	64.05	64.75	101.09%
	平均分	76.3	75.97	99.57%
OpenLLM V1	ARC-Challenge (Acc-Norm, 25-shot)	64.59	64.08	99.2%
	GSM8K (Strict-Match, 5-shot)	82.71	83.85	101.4%
	HellaSwag (Acc-Norm, 10-shot)	83.80	83.66	99.8%
	MMLU (Acc, 5-shot)	81.12	80.94	99.8%
	TruthfulQA (MC2, 0-shot)	58.41	58.47	100.1%
	Winogrande (Acc, 5-shot)	76.40	76.01	99.5%
	平均分	74.51	74.50	100.0%
OpenLLM V2	IFEval (Inst Level Strict Acc, 0-shot)	42.87	41.92	97.8%
	BBH (Acc-Norm, 3-shot)	57.96	58.20	100.4%
	Math-Hard (Exact-Match, 4-shot)	0.00	0.00	---
	GPQA (Acc-Norm, 0-shot)	26.95	28.80	106.9%
	MUSR (Acc-Norm, 0-shot)	43.95	43.95	100.0%
	MMLU-Pro (Acc, 5-shot)	49.82	49.14	98.6%
	平均分	36.92	37.00	100.2%
编程能力	HumanEval (pass@1)	86.00	85.80	99.8%
	HumanEval (pass@10)	92.50	93.00	100.5%
	HumanEval+ (pass@10)	82.00	81.80	99.8%
	HumanEval+ (pass@10)	Phi 2 GGUF 其他 Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。 大型语言模型 支持多种语言 P TheBloke 41.5M 205 Roberta Large MIT 基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法 大型语言模型 英语 R FacebookAI 19.4M 212 Distilbert Base Uncased Apache-2.0 DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。 大型语言模型 英语 D distilbert 11.1M 669 Llama 3.1 8B Instruct GGUF Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。 大型语言模型 英语 L modularai 9.7M 4 Xlm Roberta Base MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 9.6M 664 Roberta Base MIT 基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调 大型语言模型 英语 R FacebookAI 9.3M 488 Opt 125m 其他 OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。 大型语言模型 英语 O facebook 6.3M 198 Llama 3.1 8B Instruct Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。 大型语言模型 Transformers 支持多种语言 L meta-llama 5.7M 3,898 T5 Base Apache-2.0 T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。 大型语言模型 支持多种语言 T google-t5 5.4M 702 Xlm Roberta Large MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 5.3M 431 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策