基于SQuAD2.0微调的ELECTRA_large_discriminator语言模型

微调结果如下：

  "精确匹配率": 87.09677419354838,
  "F1分数": 89.98343832723452,
  "总样本数": 11873,
  "有答案精确匹配率": 84.66599190283401,
  "有答案F1分数": 90.44759839056285,
  "有答案样本数": 5928,
  "无答案精确匹配率": 89.52060555088309,
  "无答案F1分数": 89.52060555088309,
  "无答案样本数": 5945,
  "最佳精确匹配率": 87.09677419354838,
  "最佳精确匹配阈值": 0.0,
  "最佳F1分数": 89.98343832723432,
  "最佳F1阈值": 0.0

训练脚本：

python ${EXAMPLES}/run_squad.py \
  --模型类型 electra \
  --模型名称或路径 google/electra-large-discriminator \
  --执行训练 \
  --执行评估 \
  --训练文件 ${SQUAD}/train-v2.0.json \
  --预测文件 ${SQUAD}/dev-v2.0.json \
  --支持负样本的v2版本 \
  --启用小写转换 \
  --训练轮数 3 \
  --预热步数 306 \
  --权重衰减 0.01 \
  --学习率 3e-5 \
  --最大梯度范数 0.5 \
  --Adam优化器epsilon值 1e-6 \
  --最大序列长度 512 \
  --文档滑动窗口 128 \
  --单GPU训练批次大小 8 \
  --梯度累积步数 16 \
  --单GPU评估批次大小 128 \
  --启用FP16混合精度 \
  --FP16优化级别 O1 \
  --线程数 12 \
  --日志记录间隔 50步 \
  --模型保存间隔 1000步 \
  --覆盖输出目录 \
  --输出目录 ${MODEL_PATH}

使用的系统及软件环境：

Transformers版本: 2.11.0
PyTorch版本: 1.5.0
TensorFlow版本: 2.2.0
Python版本: 3.8.1
操作系统/平台: Linux-5.3.0-59-generic-x86_64-with-glibc2.10
CPU/GPU配置: Intel i9-9900K / NVIDIA Titan RTX 24GB显存