license: cc-by-nc-4.0 datasets:

• amphion/Emilia-Dataset pipeline_tag: text-to-speech

墨提斯：基于掩码生成预训练的语音生成基础模型

概览

我们推出墨提斯——一个面向统一语音生成的基础模型。不同于以往针对特定任务或多任务的模型，墨提斯采用预训练与微调范式：先通过掩码生成建模在大规模无标注语音数据上进行预训练，再通过微调适配多样化语音生成任务。具体而言：(1) 墨提斯采用两种离散语音表征：源自语音自监督学习（SSL）特征的SSL标记，以及直接从波形量化的声学标记；(2) 基于30万小时多样化语音数据，墨提斯对SSL标记进行无额外条件的掩码生成预训练；(3) 通过任务特定条件微调，墨提斯能以有限数据和可训练参数实现多模态输入的多样化语音生成任务高效适配。实验表明墨提斯可作为统一语音生成的基础模型：在零样本文本转语音、语音转换、目标说话人提取、语音增强和唇语转语音五项任务中，墨提斯以不足2000万可训练参数或1/300训练数据量，全面超越当前最先进的单任务或多任务系统。音频样本详见演示页面。

模型架构

墨提斯与MaskGCT完全兼容，并共享以下核心组件：

我们开源了墨提斯第一阶段的预训练模型（含掩码生成预训练），以及语音增强（SE）、目标说话人提取（TSE）、语音转换（VC）、唇语转语音（L2S）的微调模型和统一多任务（Omni）模型。

零样本文本转语音任务可使用与墨提斯框架兼容的MaskGCT文本转语义模型。

使用说明

引用文献

若在研究中使用了墨提斯模型，请引用以下论文：

@article{wang2025metis,
  title={墨提斯：基于掩码生成预训练的语音生成基础模型},
  author={王远诚 and 郑嘉辰 and 张俊安 and 张雪瑶 and 廖欢 and 吴志拯},
  journal={arXiv预印本 arXiv:2502.03128},
  year={2025}
}
@inproceedings{wang2024maskgct,
  author={王远诚 and 詹皓越 and 刘力玮 and 曾瑞鸿 and 郭昊天 and 郑嘉辰 and 张强 and 张雪瑶 and 张顺思 and 吴志拯},
  title={MaskGCT：基于掩码生成编解码变换器的零样本文本转语音},
  booktitle    = {{ICLR}},
  publisher    = {OpenReview.net},
  year         = {2025}
}
@article{amphion_v0.2,
  title        = {Amphion工具包概览(v0.2)},
  author       = {李嘉琪 and 张雪瑶 and 王远诚 and 何昊睿 and 王超仁 and 王莉 and 廖欢 and 敖俊逸 and 谢泽宇 and 黄艺桥 and 张俊安 and 吴志拯},
  year         = {2025},
  journal      = {arXiv预印本 arXiv:2501.15442},
}
@inproceedings{amphion,
    author={张雪瑶 and 薛柳萌 and 顾轶澄 and 王远诚 and 李嘉琪 and 何昊睿 and 王超仁 and 宋婷 and 陈曦 and 方子豪 and 陈浩鹏 and 张俊安 and 汤子莹 and 邹乐逍 and 王铭轩 and 韩军 and 陈凯 and 李海洲 and 吴志拯},
    title={Amphion：开源音频、音乐与语音生成工具包},
    booktitle={{IEEE}语音语言技术研讨会, {SLT} 2024},
    year={2024}
}