库名称：transformers
标签：

• unsloth
• 文本转语音
• tts
• 德语
• orpheus
  语言：
• de
  基础模型：
• amuvarma/3b-de-pretrain
• canopylabs/orpheus-3b-0.1-ft
  许可证：llama3.2

Kartoffel-3B（基于Orpheus-3B）- 合成版

模型概述

这是一个基于Orpheus-3B的德语文本转语音（TTS）模型系列。

提供两个主要版本：

1. Kartoffel-3B-Natural: 主要在自然人类语音录音上微调，旨在实现真实的声音效果。数据集基于高质量的德语音频，包括经过许可的播客、讲座和其他开放教育资源（OER），并通过Emilia风格的流程处理。
2. Kartoffel-3B-Synthetic: 使用合成语音数据微调，支持情感和不同语气表达。数据集包含多样化的情感和4种不同的说话者。

当前版本为合成版，支持合成音色的说话者，并额外提供情感和语气表达功能。

两个版本均支持：

• 多说话者: 模型可以从预定义的说话者中选择不同身份生成语音。
• 多样化表达: 能够根据输入文本生成不同情感和语调的语音。

合成版可用的说话者与情感：

说话者：

• Martin
• Luca
• Anne
• Emma

情感：

支持以下情感表达：

• Neutral（中性）
• Happy（开心）
• Sad（悲伤）
• Excited（兴奋）
• Surprised（惊讶）
• Humorous（幽默）
• Angry（愤怒）
• Calm（平静）
• Disgust（厌恶）
• Fear（恐惧）
• Proud（自豪）
• Romantic（浪漫）

使用时，将情感标注在说话者名称后，格式为 [说话者名称] - [情感]: [德语文本]。例如，使用说话者Martin和情感“悲伤”时，正确模板为：

Martin - Sad: Oh ich bin sooo traurig.  

语气表达：

支持以下语气词：

• haha
• ughh
• wow
• wuhuuu
• ohhh

可以直接在文本中使用，或用标签标注。注意需使用列出的精确变体。

推理示例

import torch  
import torchaudio.transforms as T  
import os  
import torch  
from snac import SNAC  

from peft import PeftModel  
import soundfile as sf  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model = AutoModelForCausalLM.from_pretrained(  
    "SebastianBodza/Kartoffel_Orpheus-3B_german_synthetic-v0.1",  
    device_map="auto",  
)  

tokenizer = AutoTokenizer.from_pretrained(  
    "SebastianBodza/Kartoffel_Orpheus-3B_german_synthetic-v0.1",  
)  

snac_model = SNAC.from_pretrained("hubertsiuzdak/snac_24khz")  
snac_model = snac_model.to("cuda")  

chosen_voice = "Martin"  

prompts = [  
    'Tief im verwunschenen Wald, wo die Bäume uralte Geheimnisse flüsterten, lebte ein kleiner Gnom namens Fips, der die Sprache der Tiere verstand.',  
]  

def process_single_prompt(prompt, chosen_voice):  
    if chosen_voice == "in_prompt" or chosen_voice == "":  
        full_prompt = prompt  
    else:  
        full_prompt = f"{chosen_voice}: {prompt}"  
    start_token = torch.tensor([[128259]], dtype=torch.int64)  
    end_tokens = torch.tensor([[128009, 128260]], dtype=torch.int64)  

    input_ids = tokenizer(full_prompt, return_tensors="pt").input_ids  
    modified_input_ids = torch.cat([start_token, input_ids, end_tokens], dim=1)  

    input_ids = modified_input_ids.to("cuda")  
    attention_mask = torch.ones_like(input_ids)  

    generated_ids = model.generate(  
        input_ids=input_ids,  
        attention_mask=attention_mask,  
        max_new_tokens=4000,  
        do_sample=True,  
        temperature=0.6,  
        top_p=0.95,  
        repetition_penalty=1.1,  
        num_return_sequences=1,  
        eos_token_id=128258,  
        use_cache=True,  
    )  

    token_to_find = 128257  
    token_to_remove = 128258  

    token_indices = (generated_ids == token_to_find).nonzero(as_tuple=True)  

    if len(token_indices[1]) > 0:  
        last_occurrence_idx = token_indices[1][-1].item()  
        cropped_tensor = generated_ids[:, last_occurrence_idx + 1 :]  
    else:  
        cropped_tensor = generated_ids  

    masked_row = cropped_tensor[0][cropped_tensor[0] != token_to_remove]  
    row_length = masked_row.size(0)  
    new_length = (row_length // 7) * 7  
    trimmed_row = masked_row[:new_length]  
    code_list = [t - 128266 for t in trimmed_row]  

    return code_list  

def redistribute_codes(code_list):  
    layer_1 = []  
    layer_2 = []  
    layer_3 = []  
    for i in range((len(code_list) + 1) // 7):  
        layer_1.append(code_list[7 * i])  
        layer_2.append(code_list[7 * i + 1] - 4096)  
        layer_3.append(code_list[7 * i + 2] - (2 * 4096))  
        layer_3.append(code_list[7 * i + 3] - (3 * 4096))  
        layer_2.append(code_list[7 * i + 4] - (4 * 4096))  
        layer_3.append(code_list[7 * i + 5] - (5 * 4096))  
        layer_3.append(code_list[7 * i + 6] - (6 * 4096))  

    codes = [  
        torch.tensor(layer_1).unsqueeze(0),  
        torch.tensor(layer_2).unsqueeze(0),  
        torch.tensor(layer_3).unsqueeze(0),  
    ]  
    codes = [c.to("cuda") for c in codes]  

    audio_hat = snac_model.decode(codes)  
    return audio_hat  

for i, prompt in enumerate(prompts):  
    print(f"处理提示 {i + 1}/{len(prompts)}")  
    with torch.no_grad():  
        code_list = process_single_prompt(prompt, chosen_voice)  
        samples = redistribute_codes(code_list)  

    audio_numpy = samples.detach().squeeze().to("cpu").numpy()  
    sf.write(f"output_{i}.wav", audio_numpy, 24000)  
    print(f"已保存 output_{i}.wav")