库名称：transformers
许可证：apache-2.0
基础模型：

• Qwen/QwQ-32B

这是对 https://huggingface.co/Qwen/QwQ-32B 进行Bitsandbytes量化的版本。

操作指南请参阅：https://huggingface.co/blog/4bit-transformers-bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer  
from transformers import BitsAndBytesConfig  
import torch  

# 定义4位量化配置  
nf4_config = BitsAndBytesConfig(  
    load_in_4bit=True,  
    bnb_4bit_quant_type="nf4",  
    bnb_4bit_use_double_quant=True,  
    bnb_4bit_compute_dtype=torch.bfloat16  
)  

# 加载预训练模型并应用4位量化配置  
model = AutoModelForCausalLM.from_pretrained("Qwen/QwQ-32B", quantization_config=nf4_config)  

# 加载与模型关联的分词器  
tokenizer = AutoTokenizer.from_pretrained("Qwen/QwQ-32B")  

# 将模型和分词器推送至Hugging Face Hub  
model.push_to_hub("onekq-ai/QwQ-32B-bnb-4bit", use_auth_token=True)  
tokenizer.push_to_hub("onekq-ai/QwQ-32B-bnb-4bit", use_auth_token=True)