使用M-FAC微调的BERT-mini模型

该模型在SQuAD 2.0数据集上采用最先进的二阶优化器M-FAC进行微调。有关M-FAC的详细信息，请参阅NeurIPS 2021论文：https://arxiv.org/pdf/2107.03356.pdf。

微调设置

为了与默认的Adam基线进行公平比较，我们在与https://github.com/huggingface/transformers/tree/master/examples/pytorch/question-answering相同的框架中微调模型，仅将Adam优化器替换为M-FAC。M-FAC优化器使用的超参数如下：

学习率 = 1e-4
梯度数量 = 1024
阻尼 = 1e-6

结果

我们分享了在SQuAD 2.0验证集上5次运行中表现最佳的模型，其得分如下：

精确匹配 = 58.38
F1分数 = 61.65

在SQuAD 2.0验证集上5次运行的平均值和标准差：

可以通过在https://github.com/huggingface/transformers/blob/master/examples/pytorch/question-answering/run_qa.py中添加M-FAC优化器代码并运行以下bash脚本来复现结果：

CUDA_VISIBLE_DEVICES=0 python run_qa.py \
    --seed 8276 \
    --model_name_or_path prajjwal1/bert-mini \
    --dataset_name squad_v2 \
    --version_2_with_negative \
    --do_train \
    --do_eval \
    --per_device_train_batch_size 12 \
    --learning_rate 1e-4 \
    --num_train_epochs 2 \
    --max_seq_length 384 \
    --doc_stride 128 \
    --output_dir out_dir/ \
    --optim MFAC \
    --optim_args '{"lr": 1e-4, "num_grads": 1024, "damp": 1e-6}'

我们相信，通过适度调整超参数（如per_device_train_batch_size、learning_rate、num_train_epochs、num_grads和damp），这些结果可以得到进一步改善。为了公平比较和稳健的默认设置，我们在所有模型（bert-tiny、bert-mini）和所有数据集（SQuAD 2.0和GLUE）中使用相同的超参数。

我们的M-FAC代码可在以下链接找到：https://github.com/IST-DASLab/M-FAC。关于如何将M-FAC集成到任何仓库并使用的逐步教程，请参阅：https://github.com/IST-DASLab/M-FAC/tree/master/tutorials。

BibTeX条目和引用信息

@article{frantar2021m,
  title={M-FAC: Efficient Matrix-Free Approximations of Second-Order Information},
  author={Frantar, Elias and Kurtic, Eldar and Alistarh, Dan},
  journal={Advances in Neural Information Processing Systems},
  volume={35},
  year={2021}
}