语言:

• 英语
• 德语
• 西班牙语
• 法语
• 印地语
• 意大利语
• 日语
• 韩语
• 波兰语
• 葡萄牙语
• 俄语
• 土耳其语
• 中文

缩略图: >- https://user-images.githubusercontent.com/5068315/230698495-cbb1ced9-c911-4c9a-941d-a1a4a1286ac6.png 库: bark 许可证: mit 标签:

• bark
• 音频
• 文本转语音 管道标签: 文本转语音 推理: true

Bark

Bark是由Suno创建的基于Transformer的文本转音频模型。
Bark可以生成高度逼真的多语言语音以及其他音频——包括音乐、背景噪音和简单的音效。该模型还能产生非语言交流，如笑声、叹息和哭泣。为了支持研究社区，我们提供了预训练模型检查点的访问权限，可直接用于推理。

原始GitHub仓库和模型卡可在此处找到。

此模型仅供研究用途。
模型输出未经审查，作者不认可生成内容中的观点。
使用风险自负。

发布了两个检查点：

• 小型
• 大型（本检查点）

示例

亲自尝试Bark吧！

• Bark Colab:

• Hugging Face Colab:

• Hugging Face演示:

🤗 Transformers 使用

从4.31.0版本开始，您可以使用🤗 Transformers库本地运行Bark。

1. 首先安装🤗 Transformers库和scipy：

pip install --upgrade pip
pip install --upgrade transformers scipy

2. 通过Text-to-Speech（TTS）管道运行推理。只需几行代码即可通过TTS管道推断Bark模型！

from transformers import pipeline
import scipy

synthesiser = pipeline("text-to-speech", "suno/bark")

speech = synthesiser("你好，我的狗比你酷！", forward_params={"do_sample": True})

scipy.io.wavfile.write("bark_out.wav", rate=speech["sampling_rate"], data=speech["audio"])

3. 通过Transformers建模代码运行推理。您可以使用处理器+生成代码将文本转换为24 kHz单声道语音波形，以获得更精细的控制。

from transformers import AutoProcessor, AutoModel

processor = AutoProcessor.from_pretrained("suno/bark")
model = AutoModel.from_pretrained("suno/bark")

inputs = processor(
    text=["你好，我叫Suno。呃——我喜欢披萨。[笑] 但我还有其他爱好，比如玩井字棋。"],
    return_tensors="pt",
)

speech_values = model.generate(**inputs, do_sample=True)

4. 在ipynb笔记本中收听语音样本：

from IPython.display import Audio

sampling_rate = model.generation_config.sample_rate
Audio(speech_values.cpu().numpy().squeeze(), rate=sampling_rate)

或使用第三方库（如scipy）将其保存为.wav文件：

import scipy

sampling_rate = model.config.sample_rate
scipy.io.wavfile.write("bark_out.wav", rate=sampling_rate, data=speech_values.cpu().numpy().squeeze())

有关使用🤗 Transformers库进行Bark模型推理的更多详情，请参阅Bark文档。

Suno 使用

您也可以通过原始[Bark库]((https://github.com/suno-ai/bark)本地运行Bark：

1. 首先安装bark库

2. 运行以下Python代码：

from bark import SAMPLE_RATE, generate_audio, preload_models
from IPython.display import Audio

# 下载并加载所有模型
preload_models()

# 从文本生成音频
text_prompt = """
     你好，我叫Suno。呃——我喜欢披萨。[笑] 
     但我还有其他爱好，比如玩井字棋。
"""
speech_array = generate_audio(text_prompt)

# 在笔记本中播放文本
Audio(speech_array, rate=SAMPLE_RATE)

pizza.webm

将audio_array保存为WAV文件：

from scipy.io.wavfile import write as write_wav

write_wav("/path/to/audio.wav", SAMPLE_RATE, audio_array)

模型详情

以下是关于此处发布的模型的更多信息。

Bark是由三个Transformer模型组成的系列，可将文本转换为音频。

文本到语义标记

• 输入：文本，使用Hugging Face的BERT分词器进行分词
• 输出：编码待生成音频的语义标记

语义到粗粒度标记

• 输入：语义标记
• 输出：来自facebook的EnCodec编解码器前两个码本的标记

粗粒度到细粒度标记

• 输入：EnCodec的前两个码本
• 输出：EnCodec的8个码本

架构

发布日期

2023年4月

更广泛的影响

我们预计该模型的文本转音频功能可用于改进多种语言的辅助工具。

虽然我们希望此次发布能使用户发挥创造力并构建造福社会的应用程序，但我们承认任何文本转音频模型都有双重用途的潜力。虽然用Bark克隆已知人物的声音并不简单，但它仍可能被用于恶意目的。为了进一步减少Bark的意外使用，我们还发布了一个简单的分类器，可以高精度检测Bark生成的音频（参见主仓库的notebooks部分）。