🚀 BERT-Mini在SQuAD v2上微调模型

本项目使用由Google Research创建的BERT-Mini模型，并在SQuAD 2.0数据集上进行微调，以完成问答下游任务。

模型大小（训练后）：42.63 MB

🚀 快速开始

本模型可用于问答任务，以下是使用pipelines的快速使用示例：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-mini-finetuned-squadv2",
    tokenizer="mrm8488/bert-mini-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

# Output:

{
  "answer": "Manuel Romero",
  "end": 13,
  "score": 0.9676484207783673,
  "start": 0
}

高级用法

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "For which company has worked Manuel Romero?"
})

# Output:

{
  "answer": "hugginface/transformers",
  "end": 79,
  "score": 0.5301655914731853,
  "start": 56
}

✨ 主要特性

BERT-Mini及其“家族”详情（来自其文档）

该模型于2020年3月11日发布，是24个较小的BERT模型（仅英文，无大小写区分，使用WordPiece掩码训练）的一部分，这些模型在论文Well-Read Students Learn Better: On the Importance of Pre-training Compact Models中被提及。

较小的BERT模型适用于计算资源受限的环境。它们可以像原始BERT模型一样进行微调。不过，在知识蒸馏的场景下，它们最为有效，此时微调标签由更大、更准确的“教师”模型生成。

下游任务（问答）详情 - 数据集

SQuAD2.0将SQuAD1.1中的100,000个问题与超过50,000个由众包工作者对抗性编写的无法回答的问题相结合，这些无法回答的问题在外观上与可回答的问题相似。要在SQuAD2.0上取得好成绩，系统不仅要在可能的情况下回答问题，还要判断段落何时不支持答案并避免回答。

🔧 技术细节

模型训练

该模型在Tesla P100 GPU和25GB内存上进行训练。微调脚本可在此处找到。

结果

对比

📄 许可证

文档未提及许可证相关信息。

由Manuel Romero/@mrm8488创建 | 领英

于西班牙用心打造 ♥