许可证: MIT
语言:

• 俄语
  任务标签: 自动语音识别
  库名称: transformers
  标签:
• 语音识别
• gigaam
• 语音转文字
• 俄语
• CTC
• ngram
• 音频
• 语音

GigaAM-v2-CTC 结合ngram语言模型与束搜索 🤗 Hugging Face transformers

• 原始Git仓库 https://github.com/salute-developers/GigaAM
• ngram语言模型来自 bond005/wav2vec2-large-ru-golos-with-lm

俄语ASR模型GigaAM-v2-CTC，支持外部ngram语言模型和束搜索解码。

模型信息

这是原始GigaAM-v2-CTC模型，集成了transformers库接口、束搜索解码以及外部ngram语言模型的重打分功能。
此外，该模型还可用于提取词级时间戳。

文件 gigaam_transformers.py 包含模型、特征提取器和分词器类，具备常规transformers方法。模型可通过transformers自动类初始化（参见下方示例）。

安装

测试环境版本：

• torch 2.5.1
• torchaudio 2.5.1
• transformers 4.49.0

需安装kenlm和pyctcdecode：

pip install kenlm  
pip install pyctcdecode  

使用方式

与其他transformers语音识别模型用法相同。

from transformers import AutoModel, AutoProcessor  
import torch  
import torchaudio  

# 加载音频  
wav, sr = torchaudio.load("audio.wav")  
# 必要时重采样  
wav = torchaudio.functional.resample(wav, sr, 16000)  

# 加载模型和处理器  
processor = AutoProcessor.from_pretrained("waveletdeboshir/gigaam-ctc-with-lm", trust_remote_code=True)  
model = AutoModel.from_pretrained("waveletdeboshir/gigaam-ctc-with-lm", trust_remote_code=True)  
model.eval()  

input_features = processor(wav[0], sampling_rate=16000, return_tensors="pt")  

# 预测  
with torch.no_grad():  
    logits = model(**input_features).logits  

# 使用束搜索和语言模型解码（根据数据调整alpha、beta和beam_width参数）  
transcription = processor.batch_decode(  
    logits=logits.numpy(),  
    beam_width=64,  
    alpha=0.5,  
    beta=0.5,  
).text[0]  

带时间戳的解码

可通过解码器提取词级时间戳。需已知模型步长并设置参数output_word_offsets=True。

本模型（Conformer架构）的MODEL_STRIDE = 40毫秒/时间戳。

MODEL_STRIDE = 40  
outputs = processor.batch_decode(  
    logits=logits.numpy(),  
    beam_width=64,  
    alpha=0.5,  
    beta=0.5,  
    output_word_offsets=True  
)  
word_ts = [  
    {  
        "词语": d["word"],  
        "开始时间": round(d["start_offset"] * MODEL_STRIDE / 1000, 2),  
        "结束时间": round(d["end_offset"] * MODEL_STRIDE / 1000, 2),  
    }  
    for d in outputs.word_offsets[0]  
]