标签:

• mms 语言:
• ab
• af
• ak
• am
• ar
• as
• av
• ay
• az
• ba
• bm
• be
• bn
• bi
• bo
• sh
• br
• bg
• ca
• cs
• ce
• cv
• ku
• cy
• da
• de
• dv
• dz
• el
• en
• eo
• et
• eu
• ee
• fo
• fa
• fj
• fi
• fr
• fy
• ff
• ga
• gl
• gn
• gu
• zh
• ht
• ha
• he
• hi
• sh
• hu
• hy
• ig
• ia
• ms
• is
• it
• jv
• ja
• kn
• ka
• kk
• kr
• km
• ki
• rw
• ky
• ko
• kv
• lo
• la
• lv
• ln
• lt
• lb
• lg
• mh
• ml
• mr
• ms
• mk
• mg
• mt
• mn
• mi
• my
• zh
• nl
• 'no'
• 'no'
• ne
• ny
• oc
• om
• or
• os
• pa
• pl
• pt
• ms
• ps
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• qu
• ro
• rn
• ru
• sg
• sk
• sl
• sm
• sn
• sd
• so
• es
• sq
• su
• sv
• sw
• ta
• tt
• te
• tg
• tl
• th
• ti
• ts
• tr
• uk
• ms
• vi
• wo
• xh
• ms
• yo
• ms
• zu
• za 许可证: cc-by-nc-4.0 数据集:
• google/fleurs 指标:
• wer

大规模多语言语音（MMS）- 微调ASR - L1107

此检查点是针对多语言自动语音识别（ASR）进行微调的模型，属于Facebook的大规模多语言语音项目的一部分。该检查点基于Wav2Vec2架构，并利用适配器模型转录1000多种语言。该检查点包含10亿参数，并从facebook/mms-1b对1107种语言进行了微调。

目录

• 示例
• 支持的语言
• 模型详情
• 其他链接

示例

此MMS检查点可与Transformers一起使用，转录1107种不同语言的音频。以下是一个简单的示例。

首先，安装transformers和其他一些库：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

注意：使用MMS需要至少安装transformers >= 4.30版本。如果PyPI上尚未提供4.30版本，请确保从源代码安装transformers：

pip install git+https://github.com/huggingface/transformers.git

接下来，通过datasets加载一些音频样本。确保音频数据采样率为16000 kHz。

from datasets import load_dataset, Audio

# 英语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 法语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "fr", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
fr_sample = next(iter(stream_data))["audio"]["array"]

接下来，加载模型和处理器：

from transformers import Wav2Vec2ForCTC, AutoProcessor
import torch

model_id = "facebook/mms-1b-l1107"

processor = AutoProcessor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

现在处理音频数据，将处理后的音频数据传递给模型并转录模型输出，就像我们通常对Wav2Vec2模型（如facebook/wav2vec2-base-960h）所做的那样：

inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# 'joe keton disapproved of films and buster also had reservations about the media'

现在，我们可以将模型保留在内存中，并通过调用方便的load_adapter()函数为模型和set_target_lang()函数为分词器简单地切换语言适配器。我们将目标语言作为输入传递——“fra”表示法语。

processor.tokenizer.set_target_lang("fra")
model.load_adapter("fra")

inputs = processor(fr_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

ids = torch.argmax(outputs, dim=-1)[0]
transcription = processor.decode(ids)
# "ce dernier est volé tout au long de l'histoire romaine"

以同样的方式，可以为所有其他支持的语言切换语言。请查看：

processor.tokenizer.vocab.keys()

更多详情，请参阅官方文档。

支持的语言

此模型支持1107种语言。点击以下内容可切换此检查点支持的ISO 639-3代码中的所有语言。您可以在MMS语言覆盖概述中找到有关语言及其ISO 649-3代码的更多详细信息。