语言:

• 英文 许可证: apache-2.0 库名称: transformers 标签:
• 多模态
• 语音语言 数据集:
• mozilla-foundation/common_voice_16_1
• openslr/librispeech_asr
• MLCommons/ml_spoken_words
• Ar4ikov/iemocap_audio_text_splitted 评估指标:
• 词错误率(WER)
• 准确率 模型索引:
• 名称: SpeechLLM 结果:
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: LibriSpeech (clean) 类型: librispeech_asr 配置: clean 分割: test 参数: 语言: en 评估指标:
    • 类型: wer 值: 6.73 名称: 测试WER
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: LibriSpeech (other) 类型: librispeech_asr 配置: other 分割: test 参数: 语言: en 评估指标:
    • 类型: wer 值: 9.13 名称: 测试WER
  • 任务: 类型: 自动语音识别 名称: 自动语音识别 数据集: 名称: Common Voice 16.1 类型: common_voice_16_1 分割: test 参数: 语言: en 评估指标:
    • 类型: wer 值: 25.66 名称: 测试WER
  • 任务: 类型: 音频分类 名称: 音频分类 数据集: 名称: Common Voice 16.1 类型: common_voice_16_1 分割: test 参数: 语言: en 评估指标:
    • 类型: 准确率 值: 60.41 名称: 测试年龄准确率
    • 类型: 准确率 值: 69.59 名称: 测试口音准确率

SpeechLLM

SpeechLLM是一个多模态大型语言模型，训练用于预测对话中说话者轮次的元数据。speechllm-2B模型基于HubertX音频编码器和TinyLlama LLM。该模型预测以下内容：

1. 语音活动：音频信号是否包含语音（True/False）
2. 转录文本：音频的自动语音识别(ASR)转录
3. 说话者性别（女性/男性）
4. 说话者年龄（青年/中年/老年）
5. 说话者口音（非洲/美洲/凯尔特/欧洲/大洋洲/南亚/东南亚）
6. 说话者情绪（快乐/悲伤/愤怒/中性/沮丧）

使用方法

# 直接从huggingface加载模型
from transformers import AutoModel
model = AutoModel.from_pretrained("skit-ai/speechllm-2B", trust_remote_code=True)

model.generate_meta(
	audio_path="音频文件路径.wav", #16k Hz, 单声道
    audio_tensor=torchaudio.load("音频文件路径.wav")[1], # [可选] 可直接传入音频张量或文件路径
	instruction="提供音频的以下信息[语音活动, 转录文本, 性别, 情绪, 年龄, 口音]",
	max_new_tokens=500, 
	return_special_tokens=False
)

# 模型生成示例
'''
{
  "语音活动" : "True",
  "转录文本": "是的，我明白了。我现在就付款。",
  "性别": "女性",
  "情绪": "中性",
  "年龄": "青年",
  "口音" : "美洲",
}
'''

可在Google Colab笔记本中试用该模型。另请查看我们关于端到端对话代理(用户语音->响应)的SpeechLLM博客。

模型详情

• 开发团队: Skit AI
• 作者: Shangeth Rajaa, Abhinav Tushar
• 语言: 英语
• 微调自模型: HubertX, TinyLlama
• 模型大小: 21亿参数
• 检查点: 2000k步(批次大小=1)
• 适配器: r=4, alpha=8
• 学习率: 1e-4
• 梯度累积步数: 8

检查点结果

引用

@misc{Rajaa_SpeechLLM_多模态_LLM,
作者 = {Rajaa, Shangeth 和 Tushar, Abhinav},
标题 = {{SpeechLLM: 用于语音理解的多模态LLM}},
网址 = {https://github.com/skit-ai/SpeechLLM}
}