使用M-FAC微调的BERT-tiny模型

该模型在STS-B数据集上采用最先进的二阶优化器M-FAC进行微调。有关M-FAC的更多细节，请参阅NeurIPS 2021论文：https://arxiv.org/pdf/2107.03356.pdf。

微调设置

为了与默认的Adam基线进行公平比较，我们在与https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification相同的框架中微调模型，仅将Adam优化器替换为M-FAC。M-FAC优化器使用的超参数如下：

学习率 = 1e-4
梯度数量 = 512
阻尼 = 1e-6

结果

我们分享了5次运行中在STS-B验证集上得分最佳的一个模型：

皮尔逊系数 = 80.66
斯皮尔曼系数 = 81.13

在STS-B验证集上5次运行的平均值和标准差：

可以通过在https://github.com/huggingface/transformers/blob/master/examples/pytorch/text-classification/run_glue.py中添加M-FAC优化器代码并运行以下bash脚本来复现结果：

CUDA_VISIBLE_DEVICES=0 python run_glue.py \
  --seed 7 \
  --model_name_or_path prajjwal1/bert-tiny \
  --task_name stsb \
  --do_train \
  --do_eval \
  --max_seq_length 128 \
  --per_device_train_batch_size 32 \
  --learning_rate 1e-4 \
  --num_train_epochs 5 \
  --output_dir out_dir/ \
  --optim MFAC \
  --optim_args '{"lr": 1e-4, "num_grads": 512, "damp": 1e-6}'

我们相信，通过对超参数per_device_train_batch_size、learning_rate、num_train_epochs、num_grads和damp进行适度调整，可以进一步改善这些结果。为了公平比较和稳健的默认设置，我们在所有模型（bert-tiny、bert-mini）和所有数据集（SQuAD版本2和GLUE）中使用了相同的超参数。

我们的M-FAC代码可以在以下链接找到：https://github.com/IST-DASLab/M-FAC。关于如何将M-FAC集成到任何仓库并使用的逐步教程，请参阅：https://github.com/IST-DASLab/M-FAC/tree/master/tutorials。

BibTeX条目和引用信息

@article{frantar2021m,
  title={M-FAC: Efficient Matrix-Free Approximations of Second-Order Information},
  author={Frantar, Elias and Kurtic, Eldar and Alistarh, Dan},
  journal={Advances in Neural Information Processing Systems},
  volume={35},
  year={2021}
}