语言: 中文
缩略图:
许可证: MIT
标签:

• 问答系统
• mobilebert
  数据集:
• squad_v2
  评估指标:
• squad_v2
  小部件示例:
• 问题: "亚马逊雨林在英语中还有哪个别称？"
  上下文: "亚马逊雨林（葡萄牙语：Floresta Amazônica或Amazônia；西班牙语：Selva Amazónica, Amazonía或通常称Amazonia；法语：Forêt amazonienne；荷兰语：Amazoneregenwoud），在英语中也被称为Amazonia或亚马逊丛林，是一片覆盖南美洲亚马逊盆地大部分地区的湿润阔叶林。该盆地面积达7,000,000平方公里（2,700,000平方英里），其中5,500,000平方公里（2,100,000平方英里）被雨林覆盖。这一区域涵盖九个国家的领土。森林主要分布在巴西境内，占雨林总面积的60%，其次是秘鲁占13%，哥伦比亚占10%，其余少量分布在委内瑞拉、厄瓜多尔、玻利维亚、圭亚那、苏里南和法属圭亚那。四个国家的州或省名称中包含'Amazonas'。亚马逊雨林占全球现存雨林面积的一半以上，是世界上最大且生物多样性最丰富的热带雨林带，估计拥有3900亿棵树木，分属16,000个物种。"
• 问题: "该盆地内有多少平方公里的雨林覆盖面积？"
  上下文: "亚马逊雨林（葡萄牙语：Floresta Amazônica或Amazônia；西班牙语：Selva Amazónica, Amazonía或通常称Amazonia；法语：Forêt amazonienne；荷兰语：Amazoneregenwoud），在英语中也被称为Amazonia或亚马逊丛林，是一片覆盖南美洲亚马逊盆地大部分地区的湿润阔叶林。该盆地面积达7,000,000平方公里（2,700,000平方英里），其中5,500,000平方公里（2,100,000平方英里）被雨林覆盖。这一区域涵盖九个国家的领土。森林主要分布在巴西境内，占雨林总面积的60%，其次是秘鲁占13%，哥伦比亚占10%，其余少量分布在委内瑞拉、厄瓜多尔、玻利维亚、圭亚那、苏里南和法属圭亚那。四个国家的州或省名称中包含'Amazonas'。亚马逊雨林占全球现存雨林面积的一半以上，是世界上最大且生物多样性最丰富的热带雨林带，估计拥有3900亿棵树木，分属16,000个物种。"

基于SQuAD v2微调的MobileBERT模型

MobileBERT是BERT_LARGE的轻量化版本，采用瓶颈结构设计，并精细平衡了自注意力机制与前馈网络的关系。

本模型基于HuggingFace的google/mobilebert-uncased检查点，在SQuAD2.0数据集上微调而成。

详细参数

微调配置

• Python版本: 3.7.5
• 硬件配置:
  • CPU: Intel(R) Core(TM) i7-6800K @ 3.40GHz
  • 内存: 32GB
  • GPU: 2块GeForce GTX 1070，每块8GB显存
  • 驱动版本: 418.87.01, CUDA: 10.1
• 运行脚本:

  # 安装transformers库后执行  
  cd examples/question-answering  
  mkdir -p data  
  wget -O data/train-v2.0.json https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v2.0.json  
  wget -O data/dev-v2.0.json https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v2.0.json  
  export SQUAD_DIR=`pwd`/data  
  python run_squad.py \  
    --model_type mobilebert \  
    --model_name_or_path google/mobilebert-uncased \  
    --do_train \  
    --do_eval \  
    --do_lower_case \  
    --version_2_with_negative \  
    --train_file $SQUAD_DIR/train-v2.0.json \  
    --predict_file $SQUAD_DIR/dev-v2.0.json \  
    --per_gpu_train_batch_size 16 \  
    --per_gpu_eval_batch_size 16 \  
    --learning_rate 4e-5 \  
    --num_train_epochs 5.0 \  
    --max_seq_length 320 \  
    --doc_stride 128 \  
    --warmup_steps 1400 \  
    --save_steps 2000 \  
    --output_dir $SQUAD_DIR/mobilebert-uncased-warmup-squad_v2 2>&1 | tee train-mobilebert-warmup-squad_v2.log  
  

总耗时约3.5小时。

性能指标

模型大小: 95MB

注：上述结果未进行超参数调优。

使用示例

from transformers import pipeline  

qa_pipeline = pipeline(  
    "question-answering",  
    model="csarron/mobilebert-uncased-squad-v2",  
    tokenizer="csarron/mobilebert-uncased-squad-v2"  
)  

predictions = qa_pipeline({  
    'context': "比赛于2016年2月7日在加利福尼亚州圣克拉拉市旧金山湾区的李维斯体育场举行。",  
    'question': "比赛是在哪一天举行的？"  
})  

print(predictions)  
# 输出:  
# {'score': 0.71434086561203, 'start': 23, 'end': 39, 'answer': '2016年2月7日'}  

由Qingqing Cao创建 | GitHub | Twitter
于纽约倾情制作 ❤️