标签:

• 文本转语音 许可证: cc-by-nc-sa-4.0 支持语言:
• 中文
• 英语
• 德语
• 日语
• 法语
• 西班牙语
• 韩语
• 阿拉伯语
• 荷兰语
• 俄语
• 意大利语
• 波兰语
• 葡萄牙语 任务标签: 文本转语音 推理: 禁用

这是对官方Fish Speech v1.5权重的重新格式化版本，以适配fish-speech.rs框架。

为提升与Candle.rs及HuggingFace生态的兼容性，我进行了以下改进：

• 将DualAR变压器权重转换为更安全的.safetensors格式便于加载
• 分词器从Tiktoken格式及自定义封装迁移至HuggingFace Tokenizers以便下游使用
• VQGAN保持与v1.4版本一致，因此沿用我之前的转换中的权重归一化合并safetensors及FireflyGAN配置

重要说明：

• 请遵守原始许可证，勿将本模型用于商业用途。可通过fish.audio官方API支持Fish Audio。
• 本权重文件与官方Fish Speech推理代码不兼容！

原始说明文档：Fish Speech V1.5

Fish Speech V1.5是基于超100万小时多语言音频数据训练的领先文本转语音(TTS)模型。

支持语言及训练时长：

• 英语(en) >30万小时
• 中文(zh) >30万小时
• 日语(ja) >10万小时
• 德语(de) ~2万小时
• 法语(fr) ~2万小时
• 西班牙语(es) ~2万小时
• 韩语(ko) ~2万小时
• 阿拉伯语(ar) ~2万小时
• 俄语(ru) ~2万小时
• 荷兰语(nl) <1万小时
• 意大利语(it) <1万小时
• 波兰语(pl) <1万小时
• 葡萄牙语(pt) <1万小时

更多信息请参阅Fish Speech Github。
演示体验请访问Fish Audio。

引用

若本仓库对您的研究有所帮助，请考虑引用：

@misc{fish-speech-v1.4,
      title={Fish-Speech：基于大语言模型的高级多语言文本转语音合成系统}, 
      author={廖世佳 and 王宇轩 and 李天宇 and 程逸凡 and 张若怡 and 周荣志 and 邢艺瑾},
      year={2024},
      eprint={2411.01156},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2411.01156}, 
}

许可证

本模型采用BY-CC-NC-SA-4.0许可协议。