库名称：transformers
许可证：apache-2.0
流水线标签：自动语音识别
标签：

• 音频

级联式日语语音转文本翻译

这是一个基于级联方法的日语语音到任意目标语言文本的翻译流水线，由自动语音识别（ASR）和文本翻译两部分组成。
该流水线使用 kotoba-tech/kotoba-whisper-v2.0 进行日语语音识别（日语语音 -> 日语文本），
并使用 facebook/nllb-200-3.3B 进行文本翻译。
输入必须是日语语音，而翻译可以是 NLLB 训练的任何语言。请查看所有支持的语言及其语言代码
此处。

英语语音翻译模型可在 en-cascaded-s2t-translation 获取。

基准测试

下表展示了将日语语音翻译为英语文本任务（基于 CoVoST2 和 Fleurs 的子集）中，不同规模的 NLLB 模型与 OpenAI Whisper 模型的参考译文和预测译文之间的词错误率（WER）。

评估详情请参见 https://github.com/kotoba-tech/kotoba-whisper。

推理速度

由于级联方法的特性，尽管为了实现高准确率，该流水线相比单一端到端的 OpenAI Whisper 模型增加了额外的复杂性。
下表展示了在不同时长的音频样本上，10 次试验的平均推理时间（秒）。

使用方法

以下是将日语语音翻译为英语文本的示例。
首先，下载一个语音样本。

wget https://huggingface.co/datasets/japanese-asr/ja_asr.jsut_basic5000/resolve/main/sample.flac -O sample_ja.flac  

然后，运行以下流水线代码。

from transformers import pipeline  

# 加载模型  
pipe = pipeline(  
    model="japanese-asr/ja-cascaded-s2t-translation",  
    model_kwargs={"attn_implementation": "sdpa"},  
    model_translation="facebook/nllb-200-distilled-600M",  
    tgt_lang="eng_Latn",  
    chunk_length_s=15,  
    trust_remote_code=True,  
)  

# 翻译  
output = pipe("./sample_ja.flac")  

可以通过设置 model_translation 使用其他 NLLB 模型，例如：

• facebook/nllb-200-3.3B
• facebook/nllb-200-distilled-600M
• facebook/nllb-200-distilled-1.3B
• facebook/nllb-200-1.3B