库名称：transformers
许可证：apache-2.0
基础模型：facebook/wav2vec2-xls-r-300m
标签：

• 训练生成
• 语音识别
• 音频分类
• 语音邮件检测
  模型索引：
• 名称：wav2vec-vm-finetune
  结果：[]
  语言：
• 英文
  评估指标：
• 准确率

wav2vec-vm-finetune

该模型是基于facebook/wav2vec2-xls-r-300m微调的版本，专用于语音邮件检测。其训练数据为通话录音数据集，旨在区分语音邮件问候语和真人应答。

模型描述

本模型基于wav2vec2-xls-r-300m构建，这是一个通过大规模多语言数据训练的自监督语音模型。我们针对通话前两秒的音频进行了微调。

预期用途与限制

• 用于AI呼叫助手中的自动语音邮件检测。

• 在客服和销售通话自动化中过滤语音邮件应答。

• 仅针对英语训练。

• 假设语音邮件轨道独立且不包含来电者的音频。

• 设计用于检测拨打语音邮件时的前两秒音频。

训练与评估数据

模型训练使用的专有通话录音数据集标注为两类：

• 真人应答
• 语音邮件问候语

数据集涵盖多样化的语音邮件录音类型以提升泛化能力。

评估指标

模型达成：

• 98%准确率的语音邮件检测性能。

训练流程

训练超参数

训练采用以下超参数配置：

• 学习率：0.0003
• 训练批大小：16
• 评估批大小：8
• 随机种子：42
• 梯度累积步数：2
• 总训练批大小：32
• 优化器：使用OptimizerNames.ADAMW_TORCH，参数betas=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
• 学习率调度器类型：线性
• 学习率预热步数：500
• 训练轮次：10
• 混合精度训练：原生AMP

框架版本

• Transformers 4.48.2
• Pytorch 2.5.1+cu124
• Datasets 1.18.3
• Tokenizers 0.21.0