库名称：transformers 许可证：mit 数据集：

• openslr/librispeech_asr
• slprl/SpokenSwag
• slprl/sTinyStories 基础模型：
• Qwen/Qwen2.5-0.5B 流水线标签：audio-to-audio

SLAM模型卡

这是一个为生成基于离散Hubert标记的语音延续而训练的语音语言模型。

模型详情

模型描述

这是一个语音语言模型，在论文"Slamming: 在一天内用一块GPU训练语音语言模型"中提出，专注于高效训练。 它是从Qwen/Qwen2.5-0.5B微调而来，基于从mhubert-25hz的第11层提取的500个语音标记的词汇表。如需查看使用稍多计算资源（2*A100训练2天）训练的更强版本模型，请参阅slam_scaled。

该模型通过在LibriSpeech、Libri-Light和合成数据集sTinyStories的子集上进行下一标记预测训练。随后在SpokenSwag上通过DPO进行训练。

• 开发者：SLP-RL
• 模型类型： SpeechLM
• 许可证： MIT
• 微调自模型：Qwen/Qwen2.5-0.5B

模型来源

• 代码库：https://github.com/slp-rl/slamkit
• 论文：https://arxiv.org/abs/2502.15814
• 演示：https://pages.cs.huji.ac.il/adiyoss-lab/slamming/

用途

这是一个基础的SpeechLM，因此可用于生成语音片段的延续，或作为进一步调优的基础。有关用法的更多详情，请参阅_SlamKit_代码库，并查看演示页面获取一些生成示例。

超出范围的使用

该模型是在精选的语音数据集上训练的，主要包含有声读物和故事，因此其输出不应被视为事实性的。