数据集:

• mnli 标签:
• distilbart
• distilbart-mnli 管道标签: 零样本分类

DistilBart-MNLI

distilbart-mnli 是 bart-large-mnli 的蒸馏版本，采用了 Huggingface 为 BART 摘要提出的无教师蒸馏技术，详情可见此处。

我们仅从 bart-large-mnli 中交替复制层，并在相同数据上进行更多微调。

这是一种非常简单且有效的技术，可以看到性能下降非常小。

详细的性能权衡将发布在此表格中。

微调

如果你想自己训练这些模型，克隆distillbart-mnli 仓库并按照以下步骤操作

克隆并从源码安装 transformers

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

下载 MNLI 数据

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

创建学生模型

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

开始微调

python run_glue.py args.json

你可以在wandb 项目中找到这些训练模型的日志。