标签:

• exbert

CS224n SQuAD2.0 项目数据集

该模型旨在为CS224n课程学生在完成默认期末项目时节省建立基准模型所需的GPU时间。用于微调此模型的训练集与官方数据集相同；但评估和模型选择过程使用了随机选取的约半数官方开发集样本（共6078例）。数据文件存放于https://github.com/elgeish/squad/tree/master/data——此为2020年冬季版本。由于官方SQuAD2.0开发集包含项目测试集，学生必须确保不以任何方式使用官方SQuAD2.0开发集——包括使用基于官方SQuAD2.0微调的模型，因为这些模型在开发集上进行了模型选择。

性能指标

{
  "精确匹配率": 78.94044093451794,
  "F1分数": 81.7724930324639,
  "总样本数": 6078,
  "含答案精确匹配率": 76.28865979381443,
  "含答案F1分数": 82.20385314478195,
  "含答案样本数": 2910,
  "无答案精确匹配率": 81.37626262626263,
  "无答案F1分数": 81.37626262626263,
  "无答案样本数": 3168,
  "最佳精确匹配率": 78.95689371503784,
  "最佳精确匹配阈值": 0.0,
  "最佳F1分数": 81.78894581298378,
  "最佳F1阈值": 0.0
}

关键参数配置

{
  "启用小写转换": true,
  "文档滑动步长": 128,
  "启用FP16": false,
  "FP16优化级别": "O1",
  "梯度累积步数": 24,
  "学习率": 3e-05,
  "最大答案长度": 30,
  "最大梯度范数": 1,
  "最大问题长度": 64,
  "最大序列长度": 384,
  "模型路径": "albert-base-v2",
  "模型类型": "albert",
  "训练轮次": 3,
  "单GPU训练批大小": 8,
  "保存间隔步数": 5000,
  "随机种子": 42,
  "训练批大小": 8,
  "支持负样本": true,
  "预热步数": 0,
  "权重衰减": 0
}

运行环境

{
  "transformers版本": "2.5.1",
  "pytorch版本": "1.4.0=py3.6_cuda10.1.243_cudnn7.6.3_0",
  "python版本": "3.6.5=hc3d631a_2",
  "操作系统": "Linux 4.15.0-1060-aws #62-Ubuntu SMP Tue Feb 11 21:23:22 UTC 2020 x86_64",
  "GPU型号": "Tesla V100-SXM2-16GB"
}

引用方式

@misc{elgeish2020gestalt,
  title={Gestalt: SQuAD2.0的堆叠集成模型},
  author={Mohamed El-Geish},
  journal={arXiv预印本},
  archivePrefix={arXiv},
  eprint={2004.07067},
  year={2020},
}

关联模型

• elgeish/cs224n-squad2.0-albert-large-v2
• elgeish/cs224n-squad2.0-albert-xxlarge-v1
• elgeish/cs224n-squad2.0-distilbert-base-uncased
• elgeish/cs224n-squad2.0-roberta-base