语言:

• 多语言
• 英语
• 德语
• 土耳其语
• 波斯语
• 瑞典语
• 蒙古语
• 中文
• 威尔士语
• 加泰罗尼亚语
• 斯洛文尼亚语
• 爱沙尼亚语
• 印尼语
• 阿拉伯语
• 泰米尔语
• 拉脱维亚语
• 日语

数据集:

• 公共语音
• 多语言LibriSpeech
• Covost2

标签:

• 语音
• xls_r
• xls_r翻译
• 自动语音识别

流水线标签: 自动语音识别

许可证: apache-2.0

小部件:

• 示例标题: 英语 src: https://cdn-media.huggingface.co/speech_samples/common_voice_en_18301577.mp3

Wav2Vec2-XLS-R-300M-EN-15

Facebook的Wav2Vec2 XLS-R微调用于语音翻译。

这是一个SpeechEncoderDecoderModel模型。 编码器是从facebook/wav2vec2-xls-r-300m检查点热启动的， 解码器是从facebook/mbart-large-50检查点热启动的。 因此，编码器-解码器模型在Covost2数据集的15个en -> {lang}翻译对上进行了微调。

该模型可以将口语en（英语）翻译为以下书面语言{lang}：

en -> {de, tr, fa, sv-SE, mn, zh-CN, cy, ca, sl, et, id, ar, ta, lv, ja}

更多信息，请参阅官方XLS-R论文的5.1.1节。

使用方法

演示

可以在此空间测试该模型。 你可以选择目标语言，录制一些英语音频， 然后坐下来看看检查点翻译输入的效果如何。

示例

由于这是一个标准的序列到序列变换器模型，你可以使用generate方法通过将语音特征传递给模型来生成转录。

你可以直接通过ASR流水线使用该模型。默认情况下，检查点会将 口语英语翻译为书面德语。要更改书面目标语言， 你需要将正确的forced_bos_token_id传递给generate(...)以 使解码器适应正确的目标语言。

要根据你选择的语言ID选择正确的forced_bos_token_id，请使用 以下映射：

MAPPING = {
    "de": 250003,
    "tr": 250023,
    "fa": 250029,
    "sv": 250042,
    "mn": 250037,
    "zh": 250025,
    "cy": 250007,
    "ca": 250005,
    "sl": 250052,
    "et": 250006,
    "id": 250032,
    "ar": 250001,
    "ta": 250044,
    "lv": 250017,
    "ja": 250012,
}

例如，如果你想翻译成瑞典语，可以这样做：

from datasets import load_dataset
from transformers import pipeline

# 选择正确的`forced_bos_token_id`
forced_bos_token_id = MAPPING["sv"]

# 替换以下行以加载你选择的音频文件
librispeech_en = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
audio_file = librispeech_en[0]["file"]

asr = pipeline("automatic-speech-recognition", model="facebook/wav2vec2-xls-r-300m-en-to-15", feature_extractor="facebook/wav2vec2-xls-r-300m-en-to-15")

translation = asr(audio_file, forced_bos_token_id=forced_bos_token_id)

或者逐步进行如下：

import torch
from transformers import Speech2Text2Processor, SpeechEncoderDecoderModel
from datasets import load_dataset

model = SpeechEncoderDecoderModel.from_pretrained("facebook/wav2vec2-xls-r-300m-en-to-15")
processor = Speech2Text2Processor.from_pretrained("facebook/wav2vec2-xls-r-300m-en-to-15")

ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# 选择正确的`forced_bos_token_id`
forced_bos_token_id = MAPPING["sv"]

inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["array"]["sampling_rate"], return_tensors="pt")
generated_ids = model.generate(input_ids=inputs["input_features"], attention_mask=inputs["attention_mask"], forced_bos_token_id=forced_bos_token)
transcription = processor.batch_decode(generated_ids)

结果 en -> {lang}

查看**XLS-R (0.3B)**行以了解该模型在Covost2上的性能。

更多{lang} -> en语音翻译的XLS-R模型

• Wav2Vec2-XLS-R-300M-EN-15
• Wav2Vec2-XLS-R-1B-EN-15
• Wav2Vec2-XLS-R-2B-EN-15
• Wav2Vec2-XLS-R-2B-22-16