AIbase

M

MERT V1 95M

由 m-a-p 开发
MERT-v1-330M 是一个基于 MLM 范式训练的高级音乐理解模型，具有 330M 参数，支持 24K Hz 音频采样率和 75 Hz 特征率，适用于多种音乐信息检索任务。
音频分类
Transformers
#音乐理解#高采样率#大规模预训练
下载量 83.72k
发布时间 : 3/17/2023
模型介绍
内容详情
替代品

模型简介

MERT-v1-330M 是一个音乐音频预训练模型，采用 MLM 范式训练，具有更强的任务泛化能力和更高的音频采样率，适用于音乐分类、音乐生成等任务。

模型特点

高音频采样率
支持 24K Hz 音频采样率，提供更高质量的音频处理能力。
大规模训练数据
使用 160K 小时的音乐数据进行训练，模型具有更强的泛化能力。
多码本伪标签
采用 encodec 的 8 码本伪标签，提升质量并支持音乐生成任务。
批内噪声混合
引入批内噪声混合的 MLM 预测，增强模型的鲁棒性。

模型能力

音乐分类
音乐信息检索
音乐生成

使用案例

音乐分析
音乐风格分类
对音乐片段进行风格分类，如流行、古典、爵士等。
在多个下游任务中表现优于前代模型。
音乐情感识别
识别音乐中的情感特征，如快乐、悲伤、愤怒等。
音乐生成
音乐片段生成
基于输入的音频特征生成新的音乐片段。