许可协议: cc-by-nc-sa-4.0 支持语言:

• 英语
• 葡萄牙语
• 西班牙语
• 中文
• 荷兰语
• 法语
• 德语
• 意大利语
• 日语
• 波兰语 任务标签: 音频转音频 标签:
• 音频
• 语音
• 语音转换
• 歌声转换
• 语音克隆
• 歌声克隆
• 多语言

FreeSVC：零样本多语言歌声转换系统

FreeSVC 是一款极具前景的多语言零样本歌声转换模型。它能够实现跨语言的歌声转换，而无需进行大量针对特定语言的训练。GitHub代码库。论文预印本。

支持语言

*注："其他"类别用于无歌词内容的演唱技巧。

模型概览

FreeSVC采用增强版VITS架构，集成了说话人无关聚类(SPIN)技术和ECAPA2说话人编码器。这种组合能有效分离说话人特征与语言内容，确保跨多种语言的高质量自然音色转换。

训练数据集

FreeSVC使用涵盖多语言的多样化语音和歌唱数据集进行训练：

许可协议

FreeSVC采用**知识共享署名-非商业性使用-相同方式共享4.0国际许可协议(CC BY-NC-SA 4.0)**发布。这意味着：

• 该模型仅限研究和非商业用途，严禁任何商业应用
• 任何衍生作品必须采用相同许可协议共享
• 使用模型时须进行规范署名

使用者还需遵守原始训练数据集的许可条款。部分数据集可能包含CC BY-NC-SA 4.0之外的附加限制条款，使用前请务必查阅并遵守相关条款。

完整条款详见CC BY-NC-SA 4.0许可协议。

引用格式

@INPROCEEDINGS{10890068,
  作者={Ferreira, Alef Iury 和 Gris, Lucas Rafael 和 Da Rosa, Augusto 和 Oliveira, Frederico 和 Casanova, Edresson 和 Sousa, Rafael 和 Junior, Arnaldo 和 Soares, Anderson 和 Filho, Arlindo Galvão},
  会议名称={ICASSP 2025 - 2025年IEEE国际声学、语音与信号处理会议}, 
  标题={FreeSVC：面向零样本多语言歌声转换的研究}, 
  年份={2025},
  卷号={},
  期号={},
  页码={1-5},
  关键词={训练;信源编码;零样本学习;优化;信号处理;数据模型;声学;多语言;数据挖掘;语音合成;歌声转换;歌唱声音合成;语音合成中的跨语言和多语言特性},
  DOI={10.1109/ICASSP49660.2025.10890068}}