语言:

• 英文 许可证: apache-2.0 库名称: transformers 标签:
• 多模态
• 语音语言 数据集:
• mozilla-foundation/common_voice_16_1
• openslr/librispeech_asr
• MLCommons/ml_spoken_words
• Ar4ikov/iemocap_audio_text_splitted 评估指标:
• 词错误率(WER)
• 准确率 模型索引:
• 名称: SpeechLLM 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: LibriSpeech (清晰版) 类型: librispeech_asr 配置: clean 分割: test 参数: 语言: en 评估指标:
    • 类型: 词错误率(WER) 值: 11.51 名称: 测试词错误率
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: LibriSpeech (其他版本) 类型: librispeech_asr 配置: other 分割: test 参数: 语言: en 评估指标:
    • 类型: 词错误率(WER) 值: 16.68 名称: 测试词错误率
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: Common Voice 16.1 类型: common_voice_16_1 分割: test 参数: 语言: en 评估指标:
    • 类型: 词错误率(WER) 值: 26.02 名称: 测试词错误率
  • 任务: 类型: 音频分类 名称: 音频分类 数据集: 名称: Common Voice 16.1 类型: common_voice_16_1 分割: test 参数: 语言: en 评估指标:
    • 类型: 准确率 值: 64.98 名称: 测试年龄准确率
    • 类型: 准确率 值: 81.21 名称: 测试口音准确率

SpeechLLM

SpeechLLM是一个经过训练的多模态大型语言模型，用于预测对话中说话者轮次的元数据。speechllm-2B模型基于HubertX音频编码器和TinyLlama LLM。该模型预测以下内容：

1. 语音活动：音频信号是否包含语音（真/假）
2. 转录文本：音频的自动语音识别(ASR)转录
3. 说话者性别（女性/男性）
4. 说话者年龄（青年/中年/老年）
5. 说话者口音（非洲/美洲/凯尔特/欧洲/大洋洲/南亚/东南亚）
6. 说话者情绪（快乐/悲伤/愤怒/中性/沮丧）

使用方法

# 直接从huggingface加载模型
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-1.5B", trust_remote_code=True)

model.generate_meta(
	audio_path="path-to-audio.wav", #16k Hz, 单声道
    audio_tensor=torchaudio.load("path-to-audio.wav")[1], # [可选] 可直接传入音频路径或音频张量
	instruction="提供关于音频的以下信息[语音活动, 转录文本, 性别, 情绪, 年龄, 口音]",
	max_new_tokens=500, 
	return_special_tokens=False
)

# 模型生成结果
'''
{
  "语音活动" : "真",
  "转录文本": "是的，我明白了。我现在就付款。",
  "性别": "女性",
  "情绪": "中性",
  "年龄": "青年",
  "口音" : "美洲",
}
'''

在Google Colab笔记本中尝试该模型。同时，查看我们关于SpeechLLM用于端到端对话代理（用户语音→响应）的博客。

模型详情

• 开发团队: Skit AI
• 作者: Shangeth Rajaa, Abhinav Tushar
• 语言: 英语
• 微调基础模型: WavLM, TinyLlama
• 模型规模: 15亿参数
• 检查点: 1200k步（批次大小=1）
• 适配器配置: r=8, alpha=16
• 学习率: 1e-4
• 梯度累积步数: 8

检查点性能

引用

@misc{Rajaa_SpeechLLM_Multi-Modal_LLM,
作者 = {Rajaa, Shangeth 和 Tushar, Abhinav},
标题 = {{SpeechLLM: 用于语音理解的多模态大型语言模型}},
网址 = {https://github.com/skit-ai/SpeechLLM}
}