license: cc-by-nc-4.0 tags:

• 语音合成
• gpt2
• 变分自编码器 pipeline_tag: 文本转语音

马拉雅拉姆语文本转语音模型

本仓库包含**Swaram（马拉雅拉姆语）**文本转语音（TTS）模型检查点。

模型详情

Swaram（全称：Stochastic Waveform Adaptive Recurrent Autoencoder for Malayalam）是一种先进的语音合成模型，能够根据输入文本序列生成语音波形。该模型基于条件变分自编码器（VAE）架构构建。

Swaram的文本编码器构建于Wav2Vec2解码器之上，采用变分自编码器作为解码器。其基于流的模块用于预测频谱声学特征，该模块由基于Transformer的上下文处理器和级联密集层组成。随后通过转置卷积层堆栈将频谱图转换为语音波形。为捕捉文本转语音任务中"一对多"的特性（即同一文本可对应多种发音方式），模型还包含随机时长预测器，使得相同文本输入能产生不同节奏的语音输出。

架构图示

使用方式

pip install --upgrade transformers accelerate

通过以下代码片段进行推理：

from transformers import VitsModel, AutoTokenizer
import torch

model = VitsModel.from_pretrained("aoxo/swaram")
tokenizer = AutoTokenizer.from_pretrained("aoxo/swaram")

text = "കള്ളാ കടയാടി മോനെ"  # 示例马拉雅拉姆语文本
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs).waveform

生成的波形可保存为.wav文件：

import scipy

scipy.io.wavfile.write("kadayadi_mone.wav", rate=model.config.sampling_rate, data=output)

或在Jupyter Notebook/Google Colab中直接播放：

from IPython.display import Audio

Audio(output, rate=model.config.sampling_rate)

许可协议

本模型采用CC-BY-NC 4.0知识共享许可协议。