推理: true 标签:

• 音乐生成
• 音频工艺 许可证: cc-by-nc-4.0 任务标签: 文本转音频 库名称: transformers 微件:
• 文本: "带有80年代嘻哈风味的放克浩室音乐" 示例标题: "提示词1"
• 文本: "融合低保真、弛放电子和慢节奏元素的舒缓歌曲" 示例标题: "提示词2"
• 文本: "适合播客开场的抓耳节奏" 示例标题: "提示词3"

MusicGen立体声小模型300M版

我们正式发布支持立体声生成的模型系列。这些模型在单声道版本基础上进行了20万步微调，训练数据与基础模型完全一致，能力与限制也与之相同。立体声模型通过从EnCodec模型获取双声道令牌流，并采用延迟交错模式进行处理。

立体声技术通过双声道音频系统营造具有空间感的听觉体验，使声音呈现方位感和层次感。

MusicGen是一款基于文本描述或音频提示生成高质量音乐样本的文本转音乐模型。这个单阶段自回归Transformer模型基于32kHz采样的EnCodec分词器（含4个50Hz采样的码本）训练而成。与MusicLM等现有方案不同，MusicGen无需自监督语义表征，可一次性生成全部4个码本。通过码本间引入微小延迟，我们实现了并行预测，使每秒钟音频仅需50步自回归运算。

本技术由Jade Copet、Felix Kreuk等人在论文《简易可控的音乐生成》中发表（arXiv:2306.05284）。

我们提供简洁API和10个预训练模型：

• 300M纯文本转音乐小模型
• 1.5B纯文本转音乐中模型
• 1.5B支持旋律引导的混合模型
• 3.3B纯文本转音乐大模型
• 3.3B支持旋律引导的大模型
• 全系列立体声优化版本（小/中/大/混合/大混合）

快速体验

可通过以下渠道试用：

• Audiocraft官方Colab笔记本
• Hugging Face社区Colab
• Hugging Face演示空间

🤗 Transformers使用指南

1. 安装最新版Transformers库及scipy

pip install --upgrade git+https://github.com/huggingface/transformers.git scipy

2. 通过文本转音频管道运行：

synthesiser = pipeline("text-to-audio", "facebook/musicgen-stereo-small")
music = synthesiser("带舒缓旋律的低保真音乐", forward_params={"max_new_tokens": 256})

3. 使用建模代码精细控制：

processor = AutoProcessor.from_pretrained("facebook/musicgen-stereo-small")
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-stereo-small")
audio_values = model.generate(**inputs, max_new_tokens=256)

模型详情

开发机构: Meta AI FAIR团队
训练时间: 2023年4月至5月
版本: v1
类型: 基于EnCodec音频分词和自回归Transformer架构，提供300M/1.5B/3.3B三种规模及文本/旋律两种变体

许可协议: 代码MIT许可，模型权重CC-BY-NC 4.0
问题反馈: 通过GitHub仓库提交

评估指标

在MusicCaps基准测试中表现（经音源分离处理后）：

局限性

• 无法生成真实人声
• 仅支持英文提示词最佳效果
• 对不同音乐风格适应性存在差异
• 可能产生歌曲结尾静默段
• 训练数据存在文化多样性不足风险

请使用者充分了解模型偏差与风险，建议仅用于AI音乐生成研究领域。