基于Wav2Vec2的意图分类模型

模型描述

本模型是S3PRL的Wav2Vec2模型在SUPERB意图分类任务上的移植版本。

基础模型采用Wav2Vec2-base，该模型在16kHz采样的语音音频上进行预训练。使用时请确保输入语音同样采用16kHz采样率。

更多信息请参考论文SUPERB：语音处理通用性能基准

任务与数据集说明

意图分类(IC)任务将语音片段分类到预定义的类别中，以判断说话者的意图。SUPERB使用流畅语音指令数据集，其中每个语音片段都标注了三种意图标签：动作、对象和位置。

原始模型的训练和评估说明请参考S3PRL下游任务README。

使用示例

您可以直接如下使用该模型：

import torch
import librosa
from datasets import load_dataset
from transformers import Wav2Vec2ForSequenceClassification, Wav2Vec2FeatureExtractor

def 映射到数组(示例):
    语音, _ = librosa.load(示例["文件"], sr=16000, mono=True)
    示例["语音"] = 语音
    return 示例

# 加载演示数据集并读取音频文件
数据集 = load_dataset("anton-l/superb_demo", "ic", split="test")
数据集 = 数据集.map(映射到数组)

模型 = Wav2Vec2ForSequenceClassification.from_pretrained("superb/wav2vec2-base-superb-ic")
特征提取器 = Wav2Vec2FeatureExtractor.from_pretrained("superb/wav2vec2-base-superb-ic")

# 计算注意力掩码并按需标准化波形
输入 = 特征提取器(数据集[:4]["语音"], sampling_rate=16000, padding=True, return_tensors="pt")

逻辑输出 = 模型(**输入).logits

动作编号 = torch.argmax(逻辑输出[:, :6], dim=-1).tolist()
动作标签 = [模型.config.id2label[_编号] for _编号 in 动作编号]

对象编号 = torch.argmax(逻辑输出[:, 6:20], dim=-1).tolist()
对象标签 = [模型.config.id2label[_编号 + 6] for _编号 in 对象编号]

位置编号 = torch.argmax(逻辑输出[:, 20:24], dim=-1).tolist()
位置标签 = [模型.config.id2label[_编号 + 20] for _编号 in 位置编号]

评估结果

评估指标采用准确率。

BibTeX条目与引用信息

@article{yang2021superb,
  title={SUPERB: 语音处理通用性能基准},
  author={杨书文 and 纪柏涵 and 庄永松 and 赖正一 and 拉科蒂亚, 库沙尔 and 林毅德 and 刘安迪 and 石家彤 and 张轩凯 and 林冠廷等},
  journal={arXiv预印本 arXiv:2105.01051},
  year={2021}
}