语言: 中文 缩略图: 标签:

• 问答

基于SQuAD v2微调的BERT-Tiny（5层版本）

本模型由谷歌研究院发布的BERT-Tiny在SQuAD 2.0数据集上针对问答任务微调而成。

模型体积（训练后）：24.33 MB

BERT-Tiny及其"家族"详情（摘自官方文档）

2020年3月11日发布

该模型属于《博学学生更善学：论预训练紧凑模型的重要性》论文中提及的24个小型BERT模型（仅英语、无大小写区分、采用WordPiece掩码训练）系列。

这些小型BERT模型专为计算资源受限的环境设计，其微调方式与原始BERT模型相同。但它们在知识蒸馏场景中表现最为出色——通过更庞大精确的教师模型生成微调标签。

下游任务（问答）细节 - 数据集

SQuAD2.0在SQuAD1.1的10万道问题基础上，新增了由众包人员对抗性编写的5万多道无法回答的相似问题。要在SQuAD2.0取得好成绩，系统必须既能回答可解问题，又能判断段落是否支持答案并拒绝回答。

模型训练

模型在Tesla P100 GPU和25GB内存环境下完成训练。微调脚本详见此处

性能表现:

模型应用

通过pipelines快速使用:

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-tiny-5-finetuned-squadv2",
    tokenizer="mrm8488/bert-tiny-5-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero最近一直在huggingface/transformers代码库辛勤工作",
    'question': "最近谁在为huggingface/transformers努力工作？"
})

由Manuel Romero/@mrm8488创建 | 领英主页

西班牙制造 ❤️