标签:

• espnet
• 音频
• 自动语音识别
• 语音翻译 语言: 多语言 数据集:
• owsm_v3.1 许可证: cc-by-4.0

OWSM：开源Whisper风格语音模型

OWSM旨在利用公开可用数据和开源工具包（包括ESPnet）开发完全开放的语音基础模型。

推理示例可在我们的项目页面查看。
演示版请访问此处。

OWSM v3.1是OWSM v3的改进版本，在几乎所有评估基准上均显著优于v3。
我们未引入新的训练数据，而是采用了先进的语音编码器E-Branchformer。

本仓库模型总参数量10.2亿，基于18万小时公开语音数据训练。
特别支持以下语音转文本任务：

• 语音识别
• 任意语言间语音翻译
• 语句级对齐
• 长文本转录
• 语言识别

引用文献

OWSM-CTC

@inproceedings{owsm-ctc,
    title = "{OWSM}-{CTC}: 面向语音识别、翻译与语言识别的开放式纯编码器语音基础模型",
    author = "彭逸凡 and 须藤唯 and 穆罕默德·沙基尔 and 渡边慎二",
    booktitle = "计算语言学协会年会论文集(ACL)",
    year = "2024",
    month= {8},
    url = "https://aclanthology.org/2024.acl-long.549",
}

OWSM v3.1与v3.2

@inproceedings{owsm-v32,
  title={异构数据源对语音转文本基础模型的影响研究},
  author={田金川 and 彭逸凡 and 陈威廉 and 崔光熙 and 卡伦·利夫塞克 and 渡边慎二},
  booktitle={国际语音通信协会年会论文集(INTERSPEECH)},
  year={2024},
  month={9},
  pdf="https://arxiv.org/pdf/2406.09282"
}
@inproceedings{owsm-v31,
  title={{OWSM v3.1：基于E-Branchformer的更优更快开源Whisper风格语音模型}},
  author={彭逸凡 and 田金川 and 陈威廉 and 西丹特·阿罗拉 and 严布赖恩 and 须藤唯 and 穆罕默德·沙基尔 and 崔光熙 and 史家彤 and 常轩凯 and 郑智元 and 渡边慎二},
  booktitle={国际语音通信协会年会论文集(INTERSPEECH)},
  year={2024},
  month={9},
  pdf="https://arxiv.org/pdf/2401.16658",
}

初始版OWSM（v1/v2/v3）

@inproceedings{owsm,
  title={利用开源工具包与公开数据复现Whisper风格训练},
  author={彭逸凡 and 田金川 and 严布赖恩 and 丹·贝雷比 and 常轩凯 and 李新建 and 史家彤 and 西丹特·阿罗拉 and 陈威廉 and 罗山·夏尔马 and 张望有 and 须藤唯 and 穆罕默德·沙基尔 and 郑智元 and 苏米·迈蒂 and 渡边慎二},
  booktitle={IEEE自动语音识别与理解研讨会论文集(ASRU)},
  year={2023},
  month={12},
  pdf="https://arxiv.org/pdf/2309.13876",
}