许可证：Apache-2.0
语言：

• 英语
  任务标签：文本转语音
  标签：
• 模型中心混合
• PyTorch模型中心混合
• 文本转语音
  基础模型：
• sesame/csm-1b

查看我们的模型集获取所有TTS模型。

学习微调TTS模型 - 阅读指南。

Unsloth Dynamic 2.0实现更高精度，超越其他主流量化方案。

✨ 使用Unsloth运行和微调TTS模型！

• 通过我们的Google Colab笔记本免费微调TTS模型！
• 阅读我们关于TTS支持的博客：unsloth.ai/blog/tts

CSM 1B

2025年3月13日 - 我们发布1B参数的CSM变体。代码已开源至GitHub：SesameAILabs/csm。

CSM（对话语音模型）是Sesame开发的语音生成模型，可从文本和音频输入生成RVQ音频编码。该模型架构采用Llama主干网络和轻量级音频解码器，可生成Mimi音频编码。

经过微调的CSM变体驱动了我们博客文章中展示的交互式语音演示。

我们还提供了托管在HuggingFace空间的测试环境用于音频生成。

使用方法

配置仓库

git clone git@github.com:SesameAILabs/csm.git  
cd csm  
python3.10 -m venv .venv  
source .venv/bin/activate  
pip install -r requirements.txt  

# 需要获取sesame/csm-1b和meta-llama/Llama-3.2-1B的访问权限  
huggingface-cli login  

生成语句

from generator import load_csm_1b  
import torchaudio  

generator = load_csm_1b(device="cuda")  

audio = generator.generate(  
    text="你好，来自Sesame的问候。",  
    speaker=0,  
    context=[],  
    max_audio_length_ms=10_000,  
)  

torchaudio.save("audio.wav", audio.unsqueeze(0).cpu(), generator.sample_rate)  

当提供上下文时，CSM能生成最佳效果。您可以使用Segment为每个说话人语句添加提示或上下文。

speakers = [0, 1, 0, 0]  
transcripts = [  
    "最近过得怎么样？",  
    "还不错，挺好的。",  
    "我状态很棒。",  
    "很高兴和你聊天。",  
]  
audio_paths = [  
    "utterance_0.wav",  
    "utterance_1.wav",  
    "utterance_2.wav",  
    "utterance_3.wav",  
]  

def load_audio(audio_path):  
    audio_tensor, sample_rate = torchaudio.load(audio_path)  
    audio_tensor = torchaudio.functional.resample(  
        audio_tensor.squeeze(0), orig_freq=sample_rate, new_freq=generator.sample_rate  
    )  
    return audio_tensor  

segments = [  
    Segment(text=transcript, speaker=speaker, audio=load_audio(audio_path))  
    for transcript, speaker, audio_path in zip(transcripts, speakers, audio_paths)  
]  
audio = generator.generate(  
    text="我也是，这些新技术很酷对吧？",  
    speaker=1,  
    context=segments,  
    max_audio_length_ms=10_000,  
)  

torchaudio.save("audio.wav", audio.unsqueeze(0).cpu(), generator.sample_rate)  

常见问题

该模型是否包含预设音色？
开源版本为基础生成模型，可生成多种音色，但未针对特定音色进行微调。

能否进行对话交互？
CSM是专用音频生成模型，非通用多模态LLM，无法生成文本。建议搭配独立LLM进行文本生成。

是否支持其他语言？
由于训练数据混杂，模型具备有限非英语生成能力，但效果可能欠佳。

滥用警告⚠️

本项目提供高质量语音生成模型仅供研究教育用途。我们严格禁止以下行为：

• 身份伪造：未经许可模仿真实人物语音
• 虚假信息：制造欺诈性内容如假新闻/诈骗通话
• 非法用途：任何违法或恶意应用

使用者需遵守法律法规和伦理准则。我们对滥用行为不承担责任，并强烈谴责技术的不道德应用。

开发团队
Johan Schalkwyk, Ankit Kumar, Dan Lyth, Sefik Emre Eskimez, Zack Hodari, Cinjon Resnick, Ramon Sanabria, Raven Jiang及Sesame团队。