数据集:

• mnli 标签:
• distilbart
• distilbart-mnli 管道标签: 零样本分类

DistilBart-MNLI

distilbart-mnli 是采用 无教师蒸馏 技术从 bart-large-mnli 蒸馏得到的精简版本，该技术由 Huggingface 为 BART 摘要任务提出，详见此处。

我们仅从 bart-large-mnli 中交替复制层结构，并在相同数据上进一步微调。

这是一种非常简单且高效的技术，可以看到性能下降非常有限。

详细的性能权衡分析将发布在此表格中。

微调

若需自行训练这些模型，请克隆distillbart-mnli仓库并按以下步骤操作：

克隆并源码安装transformers

git clone https://github.com/huggingface/transformers.git
pip install -qqq -U ./transformers

下载MNLI数据

python transformers/utils/download_glue_data.py --data_dir glue_data --tasks MNLI

创建学生模型

python create_student.py \
  --teacher_model_name_or_path facebook/bart-large-mnli \
  --student_encoder_layers 12 \
  --student_decoder_layers 6 \
  --save_path student-bart-mnli-12-6 \

开始微调

python run_glue.py args.json

所有训练模型的日志记录可在此wandb项目中查看。