数据集:

• mozilla-foundation/common_voice_17_0
• wasmdashai/db-arabic-f1-nn 语言:
• ar 许可证: afl-3.0 任务标签: 文本到语音

模型卡片

模型详情

模型描述

一款基于VITS架构的高级阿拉伯语文本转语音(TTS)系统，采用Facebook的vits ara预训练权重。该模型具备以下能力：

生成自然真实的语音：输出高质量阿拉伯语语音，精准模拟人类声线，保留语调变化和语言细节 理解口语化文本：处理多种阿拉伯方言文本，包括俚语表达和地方词汇

技术细节： VITS（基于对抗学习的变分推理端到端文本转语音）是端到端语音合成模型，根据输入文本序列预测语音波形。该条件变分自编码器(VAE)包含后置编码器、解码器和条件先验模块。

基于流的模块（由Transformer文本编码器和多重耦合层构成）预测声谱图特征。采用类似HiFi-GAN声码器的转置卷积层堆叠解码声谱图。针对TTS任务"一对多"特性（同一文本可有多重发音方式），模型还包含随机时长预测器，支持从相同文本生成不同节奏的语音。

使用方式

MMS-TTS已集成至🤗 Transformers库（4.33版本起）。使用前请安装最新版库：

pip install transformers[torch]

运行以下代码进行推理：

from transformers import VitsModel, AutoTokenizer
import torch

model = VitsModel.from_pretrained("wasmdashai/vits-ar")
tokenizer = AutoTokenizer.from_pretrained("wasmdashai/vits-ar")

text = "السلام عليكم ورحمة الله وبركاتة  ما الجديد ؟ "
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
  full_generation =model(**inputs)
full_generation_waveform = full_generation.waveform.cpu().numpy().reshape(-1)

from IPython.display import Audio

Audio(full_generation_waveform, rate=model.config.sampling_rate)

联系方式

欢迎发送邮件至 modelasg@gmail.com