🚀 级联式日语语音转文本翻译

这是一个基于级联方法的语音到文本翻译管道，可将日语语音翻译成任何目标语言的文本，该方法由自动语音识别（ASR）和翻译两部分组成。此管道使用 kotoba-tech/kotoba-whisper-v2.0 进行自动语音识别（将日语语音转换为日语文本），并使用 facebook/nllb-200-3.3B 进行文本翻译。输入必须是日语语音，而翻译可以是 NLLB 训练过的任何语言。请在此处查找所有可用语言及其语言代码。

用于英语语音翻译的模型可在 en-cascaded-s2t-translation 找到。

✨ 主要特性

• 采用级联方法，结合自动语音识别和文本翻译，实现日语语音到多语言文本的翻译。
• 支持多种 NLLB 模型进行文本翻译，可根据需求灵活选择。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

以下是将日语语音翻译成英语文本的示例。首先，下载一个示例语音文件：

wget https://huggingface.co/datasets/japanese-asr/ja_asr.jsut_basic5000/resolve/main/sample.flac -O sample_ja.flac

然后，按如下方式运行管道：

from transformers import pipeline

# 加载模型
pipe = pipeline(
    model="japanese-asr/ja-cascaded-s2t-translation",
    model_kwargs={"attn_implementation": "sdpa"},
    model_translation="facebook/nllb-200-distilled-600M",
    tgt_lang="eng_Latn",
    chunk_length_s=15,
    trust_remote_code=True,
)

# 进行翻译
output = pipe("./sample_ja.flac")

高级用法

可以通过设置 model_translation 使用其他 NLLB 模型，例如：

• facebook/nllb-200-3.3B
• facebook/nllb-200-distilled-600M
• facebook/nllb-200-distilled-1.3B
• facebook/nllb-200-1.3B

📚 详细文档

基准测试

下表展示了在将日语语音翻译成英语文本任务中，针对不同大小的 NLLB 模型以及 OpenAI Whisper 模型，基于参考翻译和预测翻译计算得到的字错误率（WER）。该任务使用了 CoVoST2 和 Fleurs 的子集。

评估详情请见 https://github.com/kotoba-tech/kotoba-whisper。

推理速度

由于级联方法的特性，为了保证高准确性，该管道与单端到端的 OpenAI Whisper 模型相比，具有额外的复杂性。下表展示了在不同时长的音频样本上，经过 10 次试验平均得到的平均推理时间（秒）。

🔧 技术细节

文档未提供相关技术细节，故跳过此章节。

📄 许可证

本项目使用的许可证为 Apache-2.0。