🚀 Kartoffel-3B (基于Orpheus-3B) - 自然版
Kartoffel-3B是一个基于Orpheus-3B的德语文本转语音(TTS)模型家族。它有自然和合成两个版本,能生成多种音色和情感的语音,为德语语音合成提供了丰富的选择。

🚀 快速开始
✨ 主要特性
- 多版本选择:提供自然和合成两个版本,满足不同场景需求。
- 多音色支持:模型可以使用预定义的多种音色生成语音。
- 多样情感表达:能够根据输入文本生成不同情感基调和表达方式的语音。
📦 安装指南
文档未提供安装步骤,暂无法展示。
💻 使用示例
基础用法
import torch
import torchaudio.transforms as T
import os
import torch
from snac import SNAC
from peft import PeftModel
import soundfile as sf
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"SebastianBodza/Kartoffel_Orpheus-3B_german_synthetic-v0.1",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(
"SebastianBodza/Kartoffel_Orpheus-3B_german_synthetic-v0.1",
)
snac_model = SNAC.from_pretrained("hubertsiuzdak/snac_24khz")
snac_model = snac_model.to("cuda")
chosen_voice = "Julian"
prompts = [
'Tief im verwunschenen Wald, wo die Bäume uralte Geheimnisse flüsterten, lebte ein kleiner Gnom namens Fips, der die Sprache der Tiere verstand.',
]
def process_single_prompt(prompt, chosen_voice):
if chosen_voice == "in_prompt" or chosen_voice == "":
full_prompt = prompt
else:
full_prompt = f"{chosen_voice}: {prompt}"
start_token = torch.tensor([[128259]], dtype=torch.int64)
end_tokens = torch.tensor([[128009, 128260]], dtype=torch.int64)
input_ids = tokenizer(full_prompt, return_tensors="pt").input_ids
modified_input_ids = torch.cat([start_token, input_ids, end_tokens], dim=1)
input_ids = modified_input_ids.to("cuda")
attention_mask = torch.ones_like(input_ids)
generated_ids = model.generate(
input_ids=input_ids,
attention_mask=attention_mask,
max_new_tokens=4000,
do_sample=True,
temperature=0.6,
top_p=0.95,
repetition_penalty=1.1,
num_return_sequences=1,
eos_token_id=128258,
use_cache=True,
)
token_to_find = 128257
token_to_remove = 128258
token_indices = (generated_ids == token_to_find).nonzero(as_tuple=True)
if len(token_indices[1]) > 0:
last_occurrence_idx = token_indices[1][-1].item()
cropped_tensor = generated_ids[:, last_occurrence_idx + 1 :]
else:
cropped_tensor = generated_ids
masked_row = cropped_tensor[0][cropped_tensor[0] != token_to_remove]
row_length = masked_row.size(0)
new_length = (row_length // 7) * 7
trimmed_row = masked_row[:new_length]
code_list = [t - 128266 for t in trimmed_row]
return code_list
def redistribute_codes(code_list):
layer_1 = []
layer_2 = []
layer_3 = []
for i in range((len(code_list) + 1) // 7):
layer_1.append(code_list[7 * i])
layer_2.append(code_list[7 * i + 1] - 4096)
layer_3.append(code_list[7 * i + 2] - (2 * 4096))
layer_3.append(code_list[7 * i + 3] - (3 * 4096))
layer_2.append(code_list[7 * i + 4] - (4 * 4096))
layer_3.append(code_list[7 * i + 5] - (5 * 4096))
layer_3.append(code_list[7 * i + 6] - (6 * 4096))
codes = [
torch.tensor(layer_1).unsqueeze(0),
torch.tensor(layer_2).unsqueeze(0),
torch.tensor(layer_3).unsqueeze(0),
]
codes = [c.to("cuda") for c in codes]
audio_hat = snac_model.decode(codes)
return audio_hat
for i, prompt in enumerate(prompts):
print(f"Processing prompt {i + 1}/{len(prompts)}")
with torch.no_grad():
code_list = process_single_prompt(prompt, chosen_voice)
samples = redistribute_codes(code_list)
audio_numpy = samples.detach().squeeze().to("cpu").numpy()
sf.write(f"output_{i}.wav", audio_numpy, 24000)
print(f"Saved output_{i}.wav")
📚 详细文档
模型概述
这是一个基于Orpheus-3B的德语文本转语音(TTS)模型家族。
有两个主要版本:
- Kartoffel-3B-自然版:主要在自然人类语音录音上进行微调,旨在实现逼真的语音效果。数据集基于高质量的德语音频,包括许可的播客、讲座和其他开放教育资源(OER)数据,并通过Emilia风格的管道进行处理。
- Kartoffel-3B-合成版:使用合成语音数据进行微调,具有情感和不同的语调。数据集包含4种不同说话者的多种情感。
目前这是自然版,用于生成自然听起来的语音。
两个版本都支持:
- 多说话者:模型可以使用预定义说话者的各种身份生成语音。
- 多样表达:能够根据输入文本生成具有不同情感基调和表达方式的语音。自然版对表达和情感的支持有限。
自然版可用的说话者和表达
说话者
有几个说话者,但并非所有说话者都稳定。因此,我只列出至少部分稳定的说话者:
- 男性:Jakob、Anton、Julian、Jan、Alexander、Emil、Ben、Elias、Felix、Jonas、Noah、Maximilian
- 女性:Sophie、Marie、Mia、Maria、Sophia、Lina、Lea
不幸的是,数据集中男性说话者比女性说话者多得多。此外,并非所有说话者都能被重建,并且可能存在重复。性别估计的效果也不太好。
📄 许可证
本模型使用的许可证为llama3.2。
信息表格
属性 |
详情 |
库名称 |
transformers |
标签 |
unsloth、text-to-speech、tts、german、orpheus |
语言 |
德语 |
基础模型 |
amuvarma/3b-de-pretrain、canopylabs/orpheus-3b-0.1-ft |
许可证 |
llama3.2 |