library_name: transformers
license: llama3.2
datasets:

• slprl/sTinyStories
  language:
• en
  base_model:
• meta-llama/Llama-3.2-3B
  pipeline_tag: audio-to-audio

交错语音-文本语言模型的扩展性分析

该模型在论文《交错语音-文本语言模型的扩展性分析》中提出（论文链接）。

论文摘要

现有语音语言模型（SLM）的扩展性分析描绘了一幅黯淡的图景。它们预测，与文本相比，SLM需要更多的计算资源和数据，这使一些人质疑训练高质量SLM的可行性。然而，现代SLM通常通过语音-文本交错初始化于预训练的文本语言模型（TextLM），以实现知识迁移。这引发了一个问题——交错SLM是否比纯语音SLM扩展效率更高？ 在本文中，我们给出了一个明确的肯定答案！我们通过训练数十个交错SLM并进行扩展趋势分析，发现这种设置下SLM的计算扩展效率更高。此外，结果表明其扩展动态与纯语音SLM显著不同，建议在计算资源分配上应明显增加模型规模而非训练标记数量。我们还研究了合成数据和TextLM模型家族在释放这一潜力中的作用。结果表明，我们的扩展模型在语音语义指标上与领先模型性能相当，同时使用的计算资源和数据少于其他方法。

模型卡片

这是一个语音语言模型（SLM），用于在给定语音-文本提示的情况下，基于离散的Hubert标记生成语音或文本延续。

模型详情

模型描述

该语音语言模型在论文《交错语音-文本语言模型的扩展性分析》（论文链接）中提出，专注于交错语音-文本SLM的扩展性分析。
它从meta-llama/Llama-3.2-3B微调而来，通过从mhubert-25hz的第11层提取500个语音标记扩展了其词汇表。

• 开发团队: SLP-RL
• 模型类型: SpeechLM
• 许可证: Llama3.2许可
• 微调基础模型: meta-llama/Llama-3.2-3B

模型来源

• 代码库: https://github.com/slp-rl/slamkit
• 论文: https://arxiv.org/abs/2504.02398
• 演示页面: https://pages.cs.huji.ac.il/adiyoss-lab/sims/

用途

该基础SpeechLM可用于生成语音片段的延续，或跨模态任务（例如根据语音提示生成文本延续），也可作为进一步调优的基础。有关详细用法，请参阅SlamKit代码库，并访问演示页面查看生成示例。

非适用范围

该模型在多样化的语音数据集上训练，因此其输出不应被视为事实性内容。

快速开始

完整用法说明请参考官方代码库——GitHub。

训练详情

我们强烈建议用户阅读完整论文以获取全部训练细节。

计算基础设施

硬件

该模型使用8块Nvidia A100 GPU训练。

软件

模型通过SlamKit代码库训练，该库基于🤗transformers扩展，支持高效训练语音语言模型。

引用

BibTeX:

@misc{maimon2025scaling,  
      title={Scaling Analysis of Interleaved Speech-Text Language Models},   
      author={Gallil Maimon and Michael Hassid and Amit Roth and Yossi Adi},  
      year={2025},  
      eprint={2504.02398},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL},  
      url={https://arxiv.org/abs/2504.02398},   
}