许可证：apache-2.0
许可证链接：https://huggingface.co/Qwen/QwQ-32B/blob/main/LICENSE
支持语言：

• 英文

基础模型：

• Qwen/QwQ-32B

任务标签：文本生成

标签：

• GPTQ量化模型
• 模型云
• 对话
• Qwen2
• QwQ
• 指令微调
• 4位整型
• GPTQ
• 4比特

本模型采用GPTQModel进行量化处理。

• 位宽: 4
• 动态量化: 未启用
• 分组大小: 32
• 激活描述: 启用
• 静态分组: 禁用
• 对称量化: 启用
• 语言模型头部: 禁用
• 真序处理: 启用
• 量化方法: "gptq"
• 检查点格式: "gptq"
• 元信息：
  • 量化工具: gptqmodel:2.0.0
  • 项目地址: https://github.com/modelcloud/gptqmodel
  • 阻尼百分比: 0.1
  • 阻尼自动增量: 0.0025

使用示例：

from transformers import AutoTokenizer
from gptqmodel import GPTQModel

tokenizer = AutoTokenizer.from_pretrained("ModelCloud/QwQ-32B-gptqmodel-4bit-vortex-v1")
model = GPTQModel.load("ModelCloud/QwQ-32B-gptqmodel-4bit-vortex-v1")

messages = [
    {"role": "用户", "content": "单词\"strawberry\"中有多少个字母r"},
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(input_ids=input_tensor.to(model.device), max_new_tokens=512)
result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)

print(result)