🚀 大规模多语言语音 (MMS) - 微调后的语言识别模型

本模型是一个针对语音语言识别（LID）进行微调的模型，是Facebook 大规模多语言语音项目 的一部分。该模型基于 Wav2Vec2架构，可将原始音频输入分类为1024种输出类别的概率分布（每个类别代表一种语言）。此检查点包含 10亿个参数，并在1024种语言上从 facebook/mms-1b 进行了微调。

🚀 快速开始

本MMS检查点可与 Transformers 一起使用，以识别音频的口语语言。它可以识别 以下1024种语言。

安装依赖库

首先，我们需要安装 transformers 和其他一些库：

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要至少安装 transformers >= 4.30。如果 4.30 版本尚未在 PyPI 上提供，请确保从源代码安装 transformers：

pip install git+https://github.com/huggingface/transformers.git

加载音频样本

接下来，我们通过 datasets 加载一些音频样本。请确保音频数据的采样率为16000 kHz。

from datasets import load_dataset, Audio

# 英语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 阿拉伯语
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "ar", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
ar_sample = next(iter(stream_data))["audio"]["array"]

加载模型和处理器

from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

model_id = "facebook/mms-lid-1024"

processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

处理音频数据并进行语言分类

现在我们处理音频数据，将处理后的音频数据传递给模型以将其分类为某种语言，就像我们通常对Wav2Vec2音频分类模型（如 ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition）所做的那样。

# 英语
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'eng'

# 阿拉伯语
inputs = processor(ar_sample, sampling_rate=16_000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs).logits

lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
# 'ara'

查看支持的语言

要查看检查点支持的所有语言，可以按如下方式打印语言ID：

processor.id2label.values()

有关架构的更多详细信息，请查看 官方文档。

✨ 主要特性

• 多语言支持：该模型支持1024种语言，能够广泛应用于不同语言环境下的语音识别任务。
• 微调模型：基于Wav2Vec2架构进行微调，针对语音语言识别任务进行了优化。

📦 安装指南

pip install torch accelerate torchaudio datasets
pip install --upgrade transformers

⚠️ 重要提示

要使用MMS，你需要至少安装 transformers >= 4.30。如果 4.30 版本尚未在 PyPI 上提供，请确保从源代码安装 transformers：

pip install git+https://github.com/huggingface/transformers.git

💻 使用示例

基础用法

from datasets import load_dataset, Audio
from transformers import Wav2Vec2ForSequenceClassification, AutoFeatureExtractor
import torch

# 加载音频样本
stream_data = load_dataset("mozilla-foundation/common_voice_13_0", "en", split="test", streaming=True)
stream_data = stream_data.cast_column("audio", Audio(sampling_rate=16000))
en_sample = next(iter(stream_data))["audio"]["array"]

# 加载模型和处理器
model_id = "facebook/mms-lid-1024"
processor = AutoFeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2ForSequenceClassification.from_pretrained(model_id)

# 处理音频数据并进行语言分类
inputs = processor(en_sample, sampling_rate=16_000, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs).logits
lang_id = torch.argmax(outputs, dim=-1)[0].item()
detected_lang = model.config.id2label[lang_id]
print(detected_lang)

高级用法

# 可以根据需要扩展代码，处理多个音频样本或进行批量处理
# 这里省略具体代码，你可以根据实际需求进行编写

📚 详细文档

有关架构的更多详细信息，请查看 官方文档。

🔧 技术细节

该模型基于 Wav2Vec2架构，通过在1024种语言上进行微调，实现了对多种语言的语音识别。模型将原始音频输入分类为1024种输出类别的概率分布，每个类别代表一种语言。

📄 许可证

本模型使用的许可证为 cc-by-nc-4.0。

支持的语言

本模型支持1024种语言。点击下面的按钮展开查看此检查点支持的所有语言的 ISO 639-3代码。你可以在 MMS语言覆盖概述 中找到有关这些语言及其ISO 649-3代码的更多详细信息。

其他链接

• 博客文章
• Transformers文档
• 论文
• GitHub仓库
• 其他 MMS 检查点
• MMS基础检查点：
  • facebook/mms-1b
  • facebook/mms-300m
• 官方空间