库名称：transformers 语言：

• 英文 任务标签：文本转语音 许可证：apache-2.0 基础模型：canopylabs/orpheus-3b-0.1-ft

创建

from transformers import AutoTokenizer, AutoModelForCausalLM
from datasets import load_dataset
from llmcompressor import oneshot
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier

模型ID = "canopylabs/orpheus-3b-0.1-ft"
输出模型 = "orpheus-3b-0.1-ft.w8a8"

样本数量 = 64
最大序列长度 = 4096

分词器 = AutoTokenizer.from_pretrained(模型ID)

def 预处理函数(示例):
  return {"text": 分词器.apply_chat_template(示例["messages"], add_generation_prompt=False, tokenize=False)}

数据集 = load_dataset("neuralmagic/LLM_compression_calibration", split="train")
数据集 = 数据集.shuffle().select(range(样本数量))
数据集 = 数据集.map(预处理函数)

配方 = [
  SmoothQuantModifier(
    平滑强度=0.7,
    映射关系=[
      [["正则:.*q_proj", "正则:.*k_proj", "正则:.*v_proj"], "正则:.*input_layernorm"],
      [["正则:.*gate_proj", "正则:.*up_proj"], "正则:.*post_attention_layernorm"],
      [["正则:.*down_proj"], "正则:.*up_proj"],
    ],
  ),
  GPTQModifier(
    顺序=True,
    目标="Linear",
    方案="W8A8",
    忽略=["lm_head"],
    阻尼系数=0.01,
  )
]

模型 = AutoModelForCausalLM.from_pretrained(
  模型ID,
  设备映射="auto",
  张量类型="bfloat16",
)

oneshot(
  模型=模型,
  数据集=数据集,
  配方=配方,
  最大序列长度=最大序列长度,
  校准样本数=样本数量,
)

模型.save_pretrained(输出模型)