库名称：transformers
许可证：apache-2.0
任务类型：文本转语音

CSM-1B-HF

适用于Hugging Face实现版本的芝麻CSM 1B模型权重。

概述

CSM-HF是芝麻科技会话语音模型(CSM)的Hugging Face实现。本项目完全重写了芝麻官方提供的pytorch代码，旨在实现与Hugging Face生态的全面兼容，涵盖从推理到训练的完整流程。

与官方实现的差异

• 新增CSMModel模型类
• 使用HF transformers的LllamaModel替换原版torchtune模型
• 新增处理器类处理模型输入
• 支持标签训练和解码器训练摊销技术
• 新增generate_frame和generate音频生成方法
• 完整支持HuggingFace训练器

生成示例

以下展示语音克隆的生成示例：

# 代码内容与原文完全一致，此处省略翻译

架构设计

模型架构详见ARCHITECTURE.md（由O1撰写）

训练流程

数据格式

要求JSONL格式训练数据，每条记录包含：

• messages：消息对象数组
  • role：说话者标识
  • content：内容数组（支持文本/音频类型）
• training_mask：布尔数组标识训练消息

示例格式：

{
  "messages": [
    {
      "role": "speaker_0",
      "content": [
        {"type": "text", "text": "我们有机会在这里开始新生活"},
        {"type": "audio", "url": "音频路径.wav"}
      ]
    }
  ],
  "training_mask": [false]
}

训练方法

采用两阶段自回归架构：

1. 主干网络（帧间处理）：

   • 处理完整帧序列
   • 每帧包含所有码本的组合嵌入
   • 建模长距离依赖关系

2. 解码器（帧内处理）：

   • 逐帧处理
   • 顺序生成32个码本
   • 采用计算摊销技术（仅训练部分帧的1-31码本）

启动训练：

python train.py \
  --train_file 训练数据路径 \
  --output_dir 输出目录 \
  --num_train_epochs 3 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 8 \
  --learning_rate 5e-6

开发计划

• [x] 两阶段自回归架构
• [x] 多码本音频标记化
• [x] 计算摊销训练优化
• [x] 交错文本/音频数据处理
• [x] 双损失训练循环
• [x] 解码器摊销的epoch处理
• [x] 内存优化技术
• [ ] LoRA微调支持
• [ ] torch.compile加速推理
• [ ] 提示调优语音克隆
• [ ] DPO支持
• [ ] 强化学习支持

致谢

特别感谢：

• 芝麻实验室的原创架构设计
• Hugging Face的Transformers库
• Claude和ChatGPT的文档辅助

本项目基于开源社区的研究成果，感谢使此类项目成为可能的协作精神。