许可协议: cc-by-nc-4.0 数据集:

• ylacombe/expresso 语言:
• 英语 基础模型:
• sesame/csm-1b 任务标签: 文本转语音

csm-expressiva情感语音模型

本实验模型基于CSM(对话语音模型)进行SFT微调，采用Expresso数据集中第4种耳语风格语音。这是为验证csm-mlx代码库的LoRA微调效果而开展的快速实验。

在16GB内存的M2芯片MacBook Air上完成训练（大量使用交换内存），耗时43分47秒。

仓库包含两种格式的检查点：ckpt.pt和ckpt.safetensors适用于原版PyTorch实现的CSM模型，mlx-ckpt.safetensors专为csm-mlx代码库设计。

重要提示：推理时请使用speaker_id=4——这是模型训练所用的说话人标识！

对于原版PyTorch实现，直接修改仓库名称即可使用（所有文件名保持一致）。

对于csm-mlx用户，由于检查点文件名为mlx-ckpt.safetensors而非默认名称，需按如下方式加载：

from mlx_lm.sample_utils import make_sampler
from huggingface_hub import hf_hub_download
from csm_mlx import CSM, csm_1b, generate

import audiofile
import numpy as np

csm = CSM(csm_1b())
weight = hf_hub_download(repo_id="senstella/csm-expressiva-1b", filename="mlx-ckpt.safetensors") # 关键区别在此！
csm.load_weights(weight)

audio = generate(
    csm,
    text="来自Sesame的问候。",
    speaker=4, # 另一关键点——无论使用何种框架，请始终设为4！
    context=[],
    max_audio_length_ms=20_000,
    sampler=make_sampler(temp=0.8, top_k=50)
)

audiofile.write("./audio.wav", np.asarray(audio), 24000)

实验发现：

• 小规模SFT微调能有效改善CSM基础模型的典型故障（如无限静音等）
  • 虽仍有故障发生，但频率较微调前显著降低
• 即使少量数据也能精细复现目标音色特征
• 量化后稳定性显著提升（首次发现于该PR）

训练超参数：

• 批大小: 1
• 训练轮次: 1
• 首码本权重系数: 1.1
• 学习率: 1e-4
• 权重衰减: 1e-4
• 优化器: adamw
• LoRA秩: 8
• LoRAα值: 16
• 目标模块: attn, codebook0_head, projection

后续计划在csm-mlx上实现KTO训练方法，进一步改善模型稳定性。

声明

本模型的微调旨在验证CSM-1b是否具备传统TTS模型通常不具备的耳语特征压缩与重建能力，同时测试csm-mlx训练流程及其损失函数的正确性。本人不认可也不鼓励任何不当使用行为，任何非预期的关联或解读均与模型设计初衷无关。

许可协议

遵循Expresso数据集的cc-by-nc-4.0协议（因基于该数据集训练）。