pipeline_tag: 音频分类 tags:

• 音频
• 音乐

MERT模型

MERT（基于大规模自监督训练的声学音乐理解模型）通过引入教师模型，在掩码语言建模（MLM）风格的声学预训练中提供伪标签。

MERT的预训练权重来源于m-a-p/MERT-v1-95M。本代码库将MERT注册为AutoModelForAudioClassification自动类。

使用示例

import numpy as np
from transformers import AutoFeatureExtractor, AutoModelForAudioClassification

# 基础配置
model_id = 'yangwang825/mert-base'
batch_size = 4
num_classes = 10
max_duration = 1.0  # 最大音频时长（秒）

# 初始化特征提取器和模型
feature_extractor = AutoFeatureExtractor.from_pretrained(
    model_id, 
    trust_remote_code=True
)
mert = AutoModelForAudioClassification.from_pretrained(
    model_id,
    num_labels=num_classes,
    ignore_mismatched_sizes=True,
    trust_remote_code=True
)

# 模拟波形数据列表（例如四个音频片段）
audio_arrays = [
    np.random.rand(16000, ),  # 16kHz采样率
    np.random.rand(24000, ),  # 24kHz采样率
    np.random.rand(22050, ),  # 22.05kHz采样率
    np.random.rand(44100, )   # 44.1kHz采样率
]
inputs = feature_extractor(
    audio_arrays,  # numpy数组格式的波形列表
    sampling_rate=feature_extractor.sampling_rate, 
    max_length=int(feature_extractor.sampling_rate * max_duration), 
    padding='max_length', 
    truncation=True, 
    return_tensors='pt'
)
# input_values维度为(batch_size, 采样率*最大时长)
input_values = inputs['input_values']
outputs = mert(**inputs)
# logits维度为(batch_size, 分类数)
logits = outputs['logits']