语言：中文 缩略图：

基于SQuAD v2微调的SpanBERT（spanbert-base-cased版）

SpanBERT由Facebook Research开发，并在SQuAD 2.0上针对问答下游任务进行了微调。

SpanBERT详情

SpanBERT：通过表示与预测文本跨度改进预训练

下游任务（问答）详情 - 数据集

SQuAD2.0将SQuAD1.1中的10万个问题与由众包人员对抗性编写的超过5万个无法回答的问题相结合，这些问题看起来与可回答的问题相似。要在SQuAD2.0上表现良好，系统不仅需要在可能时回答问题，还必须确定段落中是否不支持答案并避免回答。

模型训练

模型在Tesla P100 GPU和25GB内存上进行训练。微调脚本可在此处找到。

结果：

原始指标：

{
  "exact": 78.80064010780762,
  "f1": 82.22801347271162,
  "total": 11873,
  "HasAns_exact": 78.74493927125506,
  "HasAns_f1": 85.60951483831069,
  "HasAns_total": 5928,
  "NoAns_exact": 78.85618166526493,
  "NoAns_f1": 78.85618166526493,
  "NoAns_total": 5945,
  "best_exact": 78.80064010780762,
  "best_exact_thresh": 0.0,
  "best_f1": 82.2280134727116,
  "best_f1_thresh": 0.0
}

对比：

模型实战

使用pipelines快速调用：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/spanbert-finetuned-squadv2",
    tokenizer="mrm8488/spanbert-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero最近一直在hugginface/transformers仓库中努力工作",
    'question': "最近谁在hugginface/transformers中努力工作？"

})

# 输出：{'answer': 'Manuel Romero','end': 13,'score': 6.836378586818937e-09, 'start': 0}

由Manuel Romero/@mrm8488创建

西班牙制造，倾注♥