语言:

• 英语
• 法语
• 西班牙语
• 德语
• 意大利语
• 葡萄牙语
• 荷兰语 许可证: MIT 库名称: transformers 标签:
• 音频
• 自动语音识别
• transformers.js 小部件:
• 示例标题: LibriSpeech样本1 来源: https://cdn-media.huggingface.co/speech_samples/sample1.flac
• 示例标题: LibriSpeech样本2 来源: https://cdn-media.huggingface.co/speech_samples/sample2.flac 管道标签: 自动语音识别

Whisper-Large-V3-Distil-Multi7-v0.2

一个多语言蒸馏版Whisper模型，具有2个解码器层，支持7种欧洲语言：英语、法语、西班牙语、德语、意大利语、葡萄牙语和荷兰语。

该模型是在我开发Distil-Large-v3.5期间训练的。

一个显著特点是其原生支持语码转换。该模型能够在单个片段转录中自动检测语言变化并生成新的语言标记（如下例所示）。

训练过程中重新利用了<|yue|>语言标记，使其在推理时能作为自动语言检测标记实现语码转换功能。要使用此功能，只需将语言参数设为cantonese（默认使用）。

该模型的性能低于单语言蒸馏版本和Whisper-Large-v3-Turbo。未来工作应探索更好的训练方法，并可能纳入更多数据，以有效将多语言能力压缩到单一模型中。

目录

• 使用方法
• 评估

使用方法

import torch
from datasets import load_dataset
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

# 加载模型
model_name_or_path = "bofenghuang/whisper-large-v3-distil-multi7-v0.2"
processor = AutoProcessor.from_pretrained(model_name_or_path)
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_name_or_path, torch_dtype=torch_dtype)
model.to(device)

# 示例音频
dataset = load_dataset("bofenghuang/asr-dummy", "cs", split="test")
sample, text = dataset[0]["audio"], dataset[0]["text"]

# 真实文本
print(text)
# Aber sei ihnen nicht böse, Habibi, vergib ihnen, sie vergaßen die Liebe, sie vergaßen die Bibel, 
# wünsch ihnen den Frieden. Nous allons construire des radiotélescopes géants comme celui-ci, 
# qui est mon préféré. Questa è un'immagine di Cairo Open City, una mostra che il museo Folkwang di 
# Essen ha dedicato al ruolo della mobile photography nella primavera Araba.

# 提取特征
input_features = processor(
    sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt"
).input_features


# 生成标记
predicted_ids = model.generate(
    input_features.to(device, dtype=torch_dtype),
    max_new_tokens=128,
)

# 解码为文本
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
print(transcription)
#  Aber sei ihnen nicht böse, Habibi, vergib ihn. Sie vergaßen die Liebe, sie vergaßen die Liebe. 
# Wünsche ihnen dem Frieden. Nous allons construire des radiotelescopes géants, comme celui-ci qui 
# est mon préféré. Esta es una imagen de Cairo Open City, una muestra que el Museo Folk Punk de Essen 
# ha dedicado al ruolo de la mobile fotografía en la primavera árabe.

# 查看生成标记
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)[0]
print(transcription)
# <|de|> Aber sei ihnen nicht böse, Habibi, vergib ihn. Sie vergaßen die Liebe, sie vergaßen die Liebe. 
# Wünsche ihnen dem Frieden.<|fr|> Nous allons construire des radiotelescopes géants, comme celui-ci qui 
# est mon préféré.<|es|> Esta es una imagen de Cairo Open City, una muestra que el Museo Folk Punk de Essen 
# ha dedicado al ruolo de la mobile fotografía en la primavera árabe.

评估

英语

法语

西班牙语

德语

意大利语

葡萄牙语

荷兰语