基于SQuAD 2.0数据集微调的XLNet模型

XLNet由谷歌与卡内基梅隆大学联合开发，并在SQuAD 2.0问答下游任务上进行微调。

训练结果（指标）

{
    "有答案精确匹配率": 74.7132253711201,
    "有答案F1分数": 82.11971607032643,
    "有答案总数": 5928,
    "无答案精确匹配率": 73.38940285954584,
    "无答案F1分数": 73.38940285954584,
    "无答案总数": 5945,
    "最佳精确匹配率": 75.67590331003116,
    "最佳精确匹配阈值": -19.554906845092773,
    "最佳F1分数": 79.16215426779269,
    "最佳F1阈值": -19.554906845092773,
    "训练轮次": 4.0,
    "总体精确匹配率": 74.05036637749515,
    "总体F1分数": 77.74830934598614,
    "总样本数": 11873
}

结果对比

更优的微调模型即将推出。

使用方法

from transformers import XLNetForQuestionAnswering, XLNetTokenizerFast

model = XLNetForQuestionAnswering.from_pretrained('jkgrad/xlnet-base-squadv2')
tokenizer = XLNetTokenizerFast.from_pretrained('jkgrad/xlnet-base-squadv2')