标签:

• w4a16
• int4
• vllm
• 音频 许可证: apache-2.0 许可证链接: https://huggingface.co/datasets/choosealicense/licenses/blob/main/markdown/apache-2.0.md 语言:
  • 英文 基础模型: openai/whisper-large-v3 库名称: transformers

whisper-large-v3-quantized.w4a16

模型概述

• 模型架构: whisper-large-v3
  • 输入: 音频-文本
  • 输出: 文本
• 模型优化:
  • 权重量化: INT4
  • 激活量化: FP16
• 发布日期: 2025年1月31日
• 版本: 1.0
• 模型开发者: Neural Magic

openai/whisper-large-v3的量化版本。

模型优化

该模型通过将openai/whisper-large-v3的权重量化为INT4数据类型获得，准备用于vLLM >= 0.5.2的推理。

部署

与vLLM一起使用

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm.assets.audio import AudioAsset
from vllm import LLM, SamplingParams

# 准备模型
llm = LLM(
    model="neuralmagic/whisper-large-v3.w4a16",
    max_model_len=448,
    max_num_seqs=400,
    limit_mm_per_prompt={"audio": 1},
)

# 准备输入
inputs = {  # 测试显式编码器/解码器提示
    "encoder_prompt": {
        "prompt": "",
        "multi_modal_data": {
            "audio": AudioAsset("winning_call").audio_and_sample_rate,
        },
    },
    "decoder_prompt": "<|startoftranscript|>",
}

# 生成响应
print("========== 示例生成 ==============")
outputs = llm.generate(inputs, SamplingParams(temperature=0.0, max_tokens=64))
print(f"提示  : {outputs[0].prompt}")
print(f"响应: {outputs[0].outputs[0].text}")
print("==================================")

vLLM还支持OpenAI兼容的服务。更多详情请参阅文档。

创建

该模型是通过llm-compressor创建的，作为多模态公告博客的一部分运行以下代码片段。

import torch
from datasets import load_dataset
from transformers import WhisperProcessor

from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.transformers import oneshot
from llmcompressor.transformers.tracing import TraceableWhisperForConditionalGeneration

# 选择模型并加载。
MODEL_ID = "openai/whisper-large-v3"

model = TraceableWhisperForConditionalGeneration.from_pretrained(
    MODEL_ID,
    device_map="auto",
    torch_dtype="auto",
)
model.config.forced_decoder_ids = None
processor = WhisperProcessor.from_pretrained(MODEL_ID)

# 配置处理器的数据集任务。
processor.tokenizer.set_prefix_tokens(language="en", task="transcribe")

# 选择校准数据集。
DATASET_ID = "MLCommons/peoples_speech"
DATASET_SUBSET = "test"
DATASET_SPLIT = "test"

# 选择样本数量。512个样本是一个好的起点。
# 增加样本数量可以提高准确性。
NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 2048

# 加载数据集并预处理。
ds = load_dataset(
    DATASET_ID,
    DATASET_SUBSET,
    split=f"{DATASET_SPLIT}[:{NUM_CALIBRATION_SAMPLES}]",
    trust_remote_code=True,
)


def preprocess(example):
    return {
        "array": example["audio"]["array"],
        "sampling_rate": example["audio"]["sampling_rate"],
        "text": " " + example["text"].capitalize(),
    }


ds = ds.map(preprocess, remove_columns=ds.column_names)


# 处理输入。
def process(sample):
    inputs = processor(
        audio=sample["array"],
        sampling_rate=sample["sampling_rate"],
        text=sample["text"],
        add_special_tokens=True,
        return_tensors="pt",
    )

    inputs["input_features"] = inputs["input_features"].to(dtype=model.dtype)
    inputs["decoder_input_ids"] = inputs["labels"]
    del inputs["labels"]

    return inputs


ds = ds.map(process, remove_columns=ds.column_names)


# 为多模态输入定义一个一次性数据收集器。
def data_collator(batch):
    assert len(batch) == 1
    return {key: torch.tensor(value) for key, value in batch[0].items()}


# 配方
recipe = GPTQModifier(targets="Linear", scheme="W4A16", ignore=["lm_head"])

# 应用算法。
oneshot(
    model=model,
    dataset=ds,
    recipe=recipe,
    max_seq_length=MAX_SEQUENCE_LENGTH,
    num_calibration_samples=NUM_CALIBRATION_SAMPLES,
    data_collator=data_collator,
)

# 确认量化模型的生成看起来合理。
print("\n\n")
print("========== 示例生成 ==============")
sample_features = next(iter(ds))["input_features"]
sample_decoder_ids = [processor.tokenizer.prefix_tokens]
sample_input = {
    "input_features": torch.tensor(sample_features).to(model.device),
    "decoder_input_ids": torch.tensor(sample_decoder_ids).to(model.device),
}

output = model.generate(**sample_input, language="en")
print(processor.batch_decode(output, skip_special_tokens=True))
print("==================================\n\n")
# 这就是南方有很多窗户的地方，不，实际上那是被动太阳能
# 被动太阳能是20世纪60年代和70年代开发和设计的东西
# 在当时它是一件伟大的事情，但它不是一个被动房屋

# 保存到磁盘压缩。
SAVE_DIR = MODEL_ID.split("/")[1] + "-W4A16-G128"
model.save_pretrained(SAVE_DIR, save_compressed=True)
processor.save_pretrained(SAVE_DIR)

评估

基础模型

总测试时间: 94.4606秒
总请求数: 511
成功请求数: 511
平均延迟: 53.3529秒
中位延迟: 52.7258秒
95百分位延迟: 86.5851秒
估计请求吞吐量: 5.41 请求/秒
估计吞吐量: 100.79 令牌/秒
WER: 12.660815197787665

W4A16

总测试时间: 106.2064秒
总请求数: 511
成功请求数: 511
平均延迟: 59.7467秒
中位延迟: 58.3930秒
95百分位延迟: 97.4831秒
估计请求吞吐量: 4.81 请求/秒
估计吞吐量: 89.35 令牌/秒
WER: 12.949380786341228

BibTeX条目和引用信息

@misc{radford2022whisper,
  doi = {10.48550/ARXIV.2212.04356},
  url = {https://arxiv.org/abs/2212.04356},
  author = {Radford, Alec and Kim, Jong Wook and Xu, Tao and Brockman, Greg and McLeavey, Christine and Sutskever, Ilya},
  title = {Robust Speech Recognition via Large-Scale Weak Supervision},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}