语言:

• 阿布哈兹语
• 南非荷兰语
• 阿坎语
• 阿姆哈拉语
• 阿拉伯语
• 阿萨姆语
• 阿瓦尔语
• 艾马拉语
• 阿塞拜疆语
• 巴什基尔语
• 班巴拉语
• 白俄罗斯语
• 孟加拉语
• 比斯拉马语
• 藏语
• 塞尔维亚-克罗地亚语
• 布列塔尼语
• 保加利亚语
• 加泰罗尼亚语
• 捷克语
• 车臣语
• 楚瓦什语
• 库尔德语
• 威尔士语
• 丹麦语
• 德语
• 迪维希语
• 宗卡语
• 希腊语
• 英语
• 世界语
• 爱沙尼亚语
• 巴斯克语
• 埃维语
• 法罗语
• 波斯语
• 斐济语
• 芬兰语
• 法语
• 西弗里斯兰语
• 富拉语
• 爱尔兰语
• 加利西亚语
• 瓜拉尼语
• 古吉拉特语
• 中文
• 海地克里奥尔语
• 豪萨语
• 希伯来语
• 印地语
• 塞尔维亚-克罗地亚语
• 匈牙利语
• 亚美尼亚语
• 伊博语
• 国际语
• 马来语
• 冰岛语
• 意大利语
• 爪哇语
• 日语
• 卡纳达语
• 格鲁吉亚语
• 哈萨克语
• 卡努里语
• 高棉语
• 基库尤语
• 卢旺达语
• 吉尔吉斯语
• 韩语
• 科米语
• 老挝语
• 拉丁语
• 拉脱维亚语
• 林加拉语
• 立陶宛语
• 卢森堡语
• 卢干达语
• 马绍尔语
• 马拉雅拉姆语
• 马拉地语
• 马来语
• 马其顿语
• 马尔加什语
• 马耳他语
• 蒙古语
• 毛利语
• 缅甸语
• 中文
• 荷兰语
• 挪威语
• 挪威语
• 尼泊尔语
• 奇契瓦语
• 奥克语
• 奥罗莫语
• 奥里亚语
• 奥塞梯语
• 旁遮普语
• 波兰语
• 葡萄牙语
• 马来语
• 普什图语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 克丘亚语
• 罗马尼亚语
• 基隆迪语
• 俄语
• 桑戈语
• 斯洛伐克语
• 斯洛文尼亚语
• 萨摩亚语
• 绍纳语
• 信德语
• 索马里语
• 西班牙语
• 阿尔巴尼亚语
• 巽他语
• 瑞典语
• 斯瓦希里语
• 泰米尔语
• 鞑靼语
• 泰卢固语
• 塔吉克语
• 他加禄语
• 泰语
• 提格里尼亚语
• 聪加语
• 土耳其语
• 乌克兰语
• 马来语
• 越南语
• 沃洛夫语
• 科萨语
• 马来语
• 约鲁巴语
• 马来语
• 祖鲁语
• 壮语

许可证: CC-BY-NC-4.0 标签:

• 多模态系统
• wav2vec2模型
• 音频
• 语音
• 语音识别
• 强制对齐 管道标签: 自动语音识别

使用Hugging Face CTC模型进行强制对齐

这个Python包提供了一种高效的方法，利用Hugging Face预训练模型实现文本与音频的强制对齐。相比TorchAudio的强制对齐API，该实现显著降低了内存消耗。

此处上传的模型检查点是从torchaudio转换为HF Transformers格式的MMS-300M检查点，该模型在强制对齐数据集上进行了训练。

安装

pip install git+https://github.com/MahmoudAshraf97/ctc-forced-aligner.git

使用方法

import torch
from ctc_forced_aligner import (
    加载音频,
    加载对齐模型,
    生成发射矩阵,
    预处理文本,
    获取对齐结果,
    获取时间跨度,
    后处理结果,
)

音频路径 = "你的/音频/路径"
文本路径 = "你的/文本/路径"
语言 = "iso" # ISO-639-3语言代码
设备 = "cuda" if torch.cuda.is_available() else "cpu"
批次大小 = 16


对齐模型, 对齐分词器 = 加载对齐模型(
    设备,
    dtype=torch.float16 if 设备 == "cuda" else torch.float32,
)

音频波形 = 加载音频(音频路径, 对齐模型.dtype, 对齐模型.device)


with open(文本路径, "r") as f:
    行内容 = f.readlines()
文本 = "".join(行 for 行 in 行内容).replace("\n", " ").strip()

发射矩阵, 步长 = 生成发射矩阵(
    对齐模型, 音频波形, 批次大小=批次大小
)

带星号标记, 带星号文本 = 预处理文本(
    文本,
    罗马化=True,
    语言=语言,
)

分段, 分数, 空白标记 = 获取对齐结果(
    发射矩阵,
    带星号标记,
    对齐分词器,
)

时间跨度 = 获取时间跨度(带星号标记, 分段, 空白标记)

单词时间戳 = 后处理结果(带星号文本, 时间跨度, 步长, 分数)