语言: 中文
数据集:

• SQuAD

MobileBERT + SQuAD (v1.1) 📱❓

基于mobilebert-uncased模型，在SQuAD v2.0数据集上微调，用于问答下游任务。

下游任务详情（问答）- 模型 🧠

MobileBERT是BERT_LARGE的轻量化版本，采用了瓶颈结构，并精心平衡了自注意力机制和前馈网络。

此处使用的检查点是原始MobileBert优化无大小写英文版本：(uncased_L-24_H-128_B-512_A-4_F-4_OPT)。

更多关于模型的信息请点击此处。

下游任务详情（问答）- 数据集 📚

**斯坦福问答数据集（SQuAD）是一个阅读理解数据集，包含众包工作者在维基百科文章上提出的问题，每个问题的答案是对应阅读段落中的一段文本（即跨度），或者问题可能无法回答。
SQuAD v1.1包含100,000+个问答对，涉及500+**篇文章。

模型训练 �

模型在Tesla P100 GPU和25GB内存上训练，使用以下命令：

python transformers/examples/question-answering/run_squad.py \  
  --model_type bert \  
  --model_name_or_path 'google/mobilebert-uncased' \  
  --do_eval \  
  --do_train \  
  --do_lower_case \  
  --train_file '/content/dataset/train-v1.1.json' \  
  --predict_file '/content/dataset/dev-v1.1.json' \  
  --per_gpu_train_batch_size 16 \  
  --learning_rate 3e-5 \  
  --num_train_epochs 5 \  
  --max_seq_length 384 \  
  --doc_stride 128 \  
  --output_dir '/content/output' \  
  --overwrite_output_dir \  
  --save_steps 1000  

值得注意的是，该模型收敛速度比其他模型快得多，因此微调成本也较低。

测试集结果 🧾

模型实战 🚀

使用pipelines快速调用：

from transformers import pipeline  
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv1')  
QnA_pipeline({  
    'context': '科学家在中国发现了一种可能成为大流行的新型流感病毒株。',  
    'question': '是谁发现的？'  
    })  

# 输出: {'answer': '科学家。', 'end': 106, 'score': 0.7885545492172241, 'start': 96}  

由Manuel Romero/@mrm8488创建 | LinkedIn

在西班牙❤️制作