语言: 英文
数据集:

• squad_v2

MobileBERT + SQuAD v2 📱❓

基于 SQUAD v2.0 数据集 微调的 mobilebert-uncased 模型，用于问答下游任务。

下游任务（问答）详情 - 模型 🧠

MobileBERT 是 BERT_LARGE 的轻量版，配备了瓶颈结构，并在自注意力与前馈网络之间精心设计了平衡。

此处使用的检查点是原始 MobileBert 优化版未区分大小写的英文模型：(uncased_L-24_H-128_B-512_A-4_F-4_OPT) 检查点。

更多关于模型的信息在此

下游任务（问答）详情 - 数据集 📚

SQuAD2.0 将 SQuAD1.1 中的 10 万个问题与超过 5 万个由众包工作者对抗性编写的不可回答问题相结合，这些问题看起来与可回答的问题相似。要在 SQuAD2.0 上表现良好，系统不仅需要在可能时回答问题，还需确定段落中是否无支持答案并避免回答。

模型训练 🏋️‍

模型在 Tesla P100 GPU 和 25GB 内存上使用以下命令训练：

python transformers/examples/question-answering/run_squad.py \  
  --model_type bert \  
  --model_name_or_path 'google/mobilebert-uncased' \  
  --do_eval \  
  --do_train \  
  --do_lower_case \  
  --train_file '/content/dataset/train-v2.0.json' \  
  --predict_file '/content/dataset/dev-v2.0.json' \  
  --per_gpu_train_batch_size 16 \  
  --learning_rate 3e-5 \  
  --num_train_epochs 5 \  
  --max_seq_length 384 \  
  --doc_stride 128 \  
  --output_dir '/content/output' \  
  --overwrite_output_dir \  
  --save_steps 1000 \  
  --version_2_with_negative  

值得注意的是，此模型收敛速度远快于其他模型，因此微调成本也较低。

测试集结果 🧾

模型实战 🚀

使用 pipelines 快速体验：

from transformers import pipeline  
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv2')  
QnA_pipeline({  
    'context': '科学家在中国发现了一种可能引发大流行的新型流感病毒株。',  
    'question': '是谁发现的？'  
    })  
    
# 输出: {'answer': '科学家', 'end': 106, 'score': 0.41531604528427124, 'start': 96}  

由 Manuel Romero/@mrm8488 创建 | LinkedIn

于西班牙倾注❤️打造