license: apache-2.0 base_model: facebook/hubert-base-ls960 tags:

• generated_from_trainer metrics:
• accuracy model-index:
• name: hubert-finetuned-animals results: []

模型空间

点击此处体验模型： 动物声音分类空间

hubert微调动物声音模型

本模型hubert-finetuned-animals是基于facebook/hubert-base-ls960微调的动物声音分类专用版本。该模型经过训练可识别ESC-50数据集中动物子类别的各类叫声，在评估集上取得如下结果：

• 损失值：0.5596
• 准确率：95%

模型说明

HuBERT模型最初通过大量无标注音频数据训练，本版本针对动物声音分类任务进行微调。该模型能精准识别犬吠、鸡鸣、猪哼、牛哞、蛙鸣、猫叫、母鸡啼、昆虫声、羊咩及乌鸦啼等10类动物叫声，可应用于生物声学监测、教育工具及野生动物保护等交互场景。

应用场景与限制

应用场景

• 野生动物研究的音频分析
• 动物科普教育内容生成
• 娱乐类动物声音识别应用

局限性

• 训练数据仅涵盖ESC-50数据集部分动物类别
• 音频质量、背景噪声及训练集未覆盖的叫声变体会显著影响识别效果

训练与评估数据

使用ESC-50数据集的动物声音子集进行微调，该公开数据集专为环境声音分类设计。每个动物类别包含40个样本，为模型提供多样化的训练评估素材。

训练流程

1. 预处理：音频文件转为频谱图
2. 数据划分：70%训练集/20%测试集/10%验证集
3. 微调阶段：进行10个epoch的训练
4. 评估机制：每epoch后验证集性能监测

超参数配置

• 学习率：5e-05
• 训练批次：8
• 评估批次：8
• 随机种子：42
• 优化器：Adam(betas=0.9/0.999, epsilon=1e-08)
• 学习率调度：线性预热(比例0.1)
• 训练轮次：10

训练结果

框架版本

• Transformers 4.33.2
• Pytorch 2.0.1+cu118
• Datasets 2.14.5
• Tokenizers 0.13.3

GitHub仓库

动物声音分类项目

本地调用示例

import librosa
import torch
from transformers import HubertForSequenceClassification, Wav2Vec2FeatureExtractor

# 加载微调模型与特征提取器
model_name = "ardneebwar/wav2vec2-animal-sounds-finetuned-hubert-finetuned-animals"
feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained(model_name)
model = HubertForSequenceClassification.from_pretrained(model_name)

# 设备配置
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.eval()  # 设置为评估模式

def predict_audio_class(audio_file):
    # 加载并预处理音频
    speech, sr = librosa.load(audio_file, sr=16000)
    input_values = feature_extractor(speech, return_tensors="pt", sampling_rate=16000).input_values
    input_values = input_values.to(device)

    # 预测
    with torch.no_grad():
        logits = model(input_values).logits

    # 获取预测类别
    predicted_id = torch.argmax(logits, dim=-1)
    return model.config.id2label[predicted_id.item()]

# 替换为实际音频路径
audio_path = "待识别音频.wav"
print(f"预测类别: {predict_audio_class(audio_path)}")