语言：中文 缩略图：

基于SQuAD v2微调的BERT-Small模型

谷歌研究团队开发的BERT-Small模型，在SQuAD 2.0数据集上针对问答任务进行微调。

模型体积（训练后）：109.74 MB

BERT-Small及其"家族"详情（来自官方文档）

2020年3月11日发布

该模型是《博学多识的学生学得更好：论预训练紧凑模型的重要性》论文中提到的24个小型BERT模型（仅英语、无大小写区分、采用WordPiece掩码训练）之一。

这些小型BERT模型专为计算资源受限的环境设计。它们可以采用与原始BERT模型相同的方式进行微调，但在知识蒸馏场景中表现最为出色——即通过更大更精准的教师模型生成微调标签。

下游任务（问答）详情 - 数据集

SQuAD2.0在SQuAD1.1的10万个问题基础上，新增了由众包人员编写的5万多个无法回答的对抗性问题。要在SQuAD2.0上取得好成绩，系统不仅需要回答可解问题，还需判断段落是否支持答案并适时拒绝回答。

模型训练

模型在Tesla P100 GPU和25GB内存环境下训练。微调脚本详见此处

性能指标：

横向对比：

模型实战

使用pipelines快速调用：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-small-finetuned-squadv2",
    tokenizer="mrm8488/bert-small-finetuned-squadv2"
)

qa_pipeline({
    'context': "曼努埃尔·罗梅罗最近一直在hugginface/transformers代码库辛勤工作",
    'question': "最近谁在为hugginface/transformers辛勤工作？"
})

# 输出：

{
  "answer": "曼努埃尔·罗梅罗",
  "end": 13,
  "score": 0.9939319924374637,
  "start": 0
}

没错！就是这么简单 🎉 再试一个例子

qa_pipeline({
    'context': "曼努埃尔·罗梅罗最近一直在hugginface/transformers代码库辛勤工作",
    'question': "曼努埃尔·罗梅罗为哪家公司工作？"
})

# 输出：

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.6024888734447131,
  "start": 56
}

运行成功！！🎉 🎉 🎉

由曼努埃尔·罗梅罗/@mrm8488创建 | 领英主页

西班牙制造 ❤️