library_name: transformers license: mit datasets:

• slprl/sTinyStories language:
• en base_model:
• Qwen/Qwen2.5-7B pipeline_tag: audio-to-audio

交错式语音-文本语言模型的扩展性分析

该模型在论文《交错式语音-文本语言模型的扩展性分析》中提出（论文链接：https://arxiv.org/abs/2504.02398）。

论文摘要

现有语音语言模型（SLM）的扩展性分析描绘了一幅黯淡的图景。这些分析预测，与纯文本模型相比，SLM需要消耗更多的计算资源和数据，这使得一些人质疑训练高质量SLM的可行性。然而，现代SLM通常通过语音-文本交错训练的方式，从预训练的文本语言模型（TextLM）初始化，以实现知识迁移。这引发了一个关键问题——交错式SLM是否比纯语音SLM具有更高的扩展效率？在本文中，我们给出了明确的肯定答案！我们通过训练数十个模型并分析其扩展趋势，对交错式SLM进行了系统性扩展分析。研究发现，在这种训练范式下，SLM的计算资源利用效率显著提升。此外，我们的结果表明其扩展动力学特征与纯语音SLM存在本质差异，这意味着在计算资源分配上应更倾向于扩大模型规模而非单纯增加训练数据量。我们还深入研究了合成数据和不同TextLM模型家族对释放这一潜力的作用。实验数据显示，我们扩展后的模型在语音语义指标上与主流模型性能相当，同时消耗的计算资源和数据量更少。

模型卡片

这是一个基于离散Hubert token的语音语言模型（SLM），用于根据语音-文本提示生成语音或文本延续。

模型详情

模型描述

本语音语言模型在论文《交错式语音-文本语言模型的扩展性分析》中提出，专注于交错式语音-文本SLM的扩展性研究。该模型通过扩展Qwen/Qwen2.5-7B的词汇表实现微调，新增了500个从mhubert-25hz第11层提取的语音token。

• 开发团队: SLP-RL
• 模型类型: 语音语言模型
• 许可协议: MIT
• 微调基础模型: Qwen/Qwen2.5-7B

模型来源

• 代码仓库: https://github.com/slp-rl/slamkit
• 论文地址: https://arxiv.org/abs/2504.02398
• 演示页面: https://pages.cs.huji.ac.il/adiyoss-lab/sims/

用途

该基础语音语言模型可用于生成语音片段的延续内容，或实现跨模态生成（如根据语音提示生成文本延续），也可作为进一步微调的基础模型。具体使用方法请参考_SlamKit_代码库，并访问演示页面查看生成示例。

非适用场景

由于模型训练数据来源多样，其输出内容不应被视为事实依据。

快速开始

完整使用指南请参阅官方代码仓库：github。

训练详情

建议用户阅读完整论文获取详细训练信息。

计算基础设施

硬件

使用8块Nvidia H100 GPU进行训练。

软件

基于SlamKit代码库开发，该框架扩展了🤗transformers功能，支持高效训练语音语言模型。

引用

BibTeX格式:

@misc{maimon2025scaling,
      title={Scaling Analysis of Interleaved Speech-Text Language Models}, 
      author={Gallil Maimon and Michael Hassid and Amit Roth and Yossi Adi},
      year={2025},
      eprint={2504.02398},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.02398}, 
}