license: apache-2.0
tags:

• 非语言发声
• 音频分类
• 婴儿啼哭
  model-index:
• name: voc2vec-hubert-ls-pt
  results: []
  language:
• en
  pipeline_tag: audio-classification
  library_name: transformers

voc2vec-hubert-ls-pt

voc2vec 是专为非语言人类数据设计的基础模型。

我们采用了包含约125小时非语言音频的10个数据集集合，并基于HuBERT框架进行了预训练。

模型描述

voc2vec-hubert基于HuBERT框架构建，沿用了其预训练设置。
预训练数据集包括：AudioSet（发声）、FreeSound（婴儿）、HumanVoiceDataset、NNIME、NonSpeech7K、ReCANVo、SingingDatabase、TUT（婴儿）、VocalSketch、VocalSound。
该模型从最初在LibriSpeech数据集上训练的模型继续预训练。

任务与数据集描述

我们在六个数据集上评估了voc2vec-hubert-ls-pt：ASVP-ESD、ASPV-ESD（婴儿）、CNVVE、非语言发声数据集、Donate a Cry、VIVAE。

这是目前voc2vec系列中表现最佳的已发布模型。

下表报告了在上述六个数据集上未加权平均召回率（UAR）和F1宏观得分的平均性能。

可用模型

使用示例

可以直接按以下方式使用模型：

import torch  
import librosa  
from transformers import AutoModelForAudioClassification, AutoFeatureExtractor  

## 加载音频文件  
audio_array, sr = librosa.load("path_to_audio.wav", sr=16000)  

## 加载模型和特征提取器  
model = AutoModelForAudioClassification.from_pretrained("alkiskoudounas/voc2vec-hubert-ls-pt")  
feature_extractor = AutoFeatureExtractor.from_pretrained("alkiskoudounas/voc2vec-hubert-ls-pt")  

## 提取特征  
inputs = feature_extractor(audio_array.squeeze(), sampling_rate=feature_extractor.sampling_rate, padding=True, return_tensors="pt")  

## 计算logits  
logits = model(**inputs).logits  

BibTeX条目与引用信息

@INPROCEEDINGS{koudounas2025icassp,  
  author={Koudounas, Alkis and La Quatra, Moreno and Siniscalchi, Sabato Marco and Baralis, Elena},  
  booktitle={ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},   
  title={voc2vec: A Foundation Model for Non-Verbal Vocalization},   
  year={2025},  
  volume={},  
  number={},  
  pages={1-5},  
  keywords={Pediatrics;Accuracy;Foundation models;Benchmark testing;Signal processing;Data models;Acoustics;Speech processing;Nonverbal vocalization;Representation Learning;Self-Supervised Models;Pre-trained Models},  
  doi={10.1109/ICASSP49660.2025.10890672}}