许可协议：Apache-2.0
库名称：transformers
基础模型：

• Qwen/Qwen2.5-14B
  流水线标签：文本生成

使用GPTQModel 4.0.0 dev版本进行量化，代码如下：

from datasets import load_dataset, concatenate_datasets
from gptqmodel import GPTQModel, QuantizeConfig
from random import shuffle, seed

seed(0)

# 1. 获取512篇英文 + 512篇西班牙文文档
en_ds = load_dataset("allenai/c4", data_files="en/c4-train.00001-of-01024.json.gz", split="train") \
          .shuffle(seed=0).select(range(512))
es_ds = load_dataset("allenai/c4", data_files="multilingual/c4-es.tfrecord-00001-of-02048.json.gz", split="train") \
          .shuffle(seed=0).select(range(512))

calib_texts = [x["text"] for x in concatenate_datasets([en_ds, es_ds])]
shuffle(calib_texts)

# 2. 量化
model_id  = "deepcogito/cogito-v1-preview-qwen-14B"
quant_dir = "cogito-14b-gptq-q4"

qconf = QuantizeConfig(bits=4, group_size=128)
model = GPTQModel.load(model_id, qconf)

# model.quantize(calib_texts, batch_size=2)
model.quantize(calib_texts, batch_size=1)
model.save(quant_dir)

在校准数据集中，我包含了50%西班牙语和50%英语的文本，因为我的任务主要涉及这两种语言。

注：我尝试了v2版本，但与v1相比损失值显著更高，因此仍坚持使用v1版本。