许可证：apache-2.0
数据集：

• japanese-asr/en_asr.mls
• japanese-asr/ja_asr.reazon_speech_all
  语言：
• en
• ja
  管道标签：自动语音识别
  库名称：transformers
  标签：
• 音频
• 自动语音识别
• hf-asr-leaderboard

Kotoba-Whisper双语模型 (v1.0)

faster-whisper权重, whisper.cpp权重

Kotoba-Whisper-Bilingual 是通过蒸馏Whisper模型训练而成的集合，专为以下任务设计：

• 日语语音识别（ASR）
• 英语语音识别（ASR）
• 语音到文本翻译（日语→英语）
• 语音到文本翻译（英语→日语）

由Asahi Ushio和Kotoba Technologies合作开发。
基于蒸馏Whisper的原始工作（Robust Knowledge Distillation via Large-Scale Pseudo Labelling），我们采用OpenAI的Whisper large-v3作为日语和英语ASR的教师模型，同时通过外部LLM将转录内容翻译成英语和日语，以获得语音到文本翻译的训练数据集。
我们使用ReazonSpeech进行日语ASR和日语语音到英语文本的翻译，使用Multilingual LibriSpeech进行英语ASR和英语语音到日语文本的翻译。
Kotoba-whisper-bilingual的损失目标包括ASR和翻译任务的交叉熵损失，以及仅针对ASR任务的KL散度损失。
学生模型包含教师large-v3模型的完整编码器，以及由large-v3模型的第一层和最后一层初始化的两层解码器。

由于kotoba-whisper采用了与distil-whisper/distil-large-v3相同的架构，它继承了与openai/whisper-large-v3相比的延迟改进优势（比large-v3快6.3倍，参见下表，取自distil-whisper/distil-large-v3）。

评估

我们将kotoba-whisper-bilingual与OpenAI Whisper模型、kotoba-whisper模型以及级联翻译模型进行了比较。
值得注意的是，kotoba-whisper-bilingual是唯一能够同时进行日语和英语ASR以及日语和英语之间语音到文本翻译的模型，因为OpenAI Whisper未针对英语到日语的语音到文本翻译进行训练，而其他模型则针对特定任务（例如，kotoba-whisper仅用于日语ASR，distil whisper仅用于英语ASR）。

语音到文本翻译（日语→英语）：WER（越小越好）

语音到文本翻译（英语→日语）：CER（越小越好）

ASR（日语）：CER（越小越好）

ASR（英语）：WER（越小越好）

| 模型 | ESB (ami) | [ESB](https://h