BETO（西班牙语BERT）+西班牙语SQuAD2.0+使用'bert-base-multilingual-cased'作为教师模型的蒸馏训练

该模型是基于SQuAD-es-v2.0微调并通过蒸馏训练的BETO版本，专用于问答任务。

通过蒸馏技术，该模型比bert-base-spanish-wwm-cased-finetuned-spa-squad2-es更小巧、快速、经济且轻量。

该模型在相同数据集上进行了微调，但在训练过程中采用了上述蒸馏方法（并增加了一个训练周期）。

蒸馏过程的教师模型为bert-base-multilingual-cased，与DistilmBERT使用的教师模型相同（平均速度是mBERT-base的两倍）。

下游任务（问答）详情 - 数据集

模型训练

模型在Tesla P100 GPU和25GB内存环境下通过以下命令训练：

!export SQUAD_DIR=/path/to/squad-v2_spanish \
&& python transformers/examples/distillation/run_squad_w_distillation.py \
  --model_type bert \
  --model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
  --teacher_type bert \
  --teacher_name_or_path bert-base-multilingual-cased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.json \
  --predict_file $SQUAD_DIR/dev-v2.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 5.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /content/model_output \
  --save_steps 5000 \
  --threads 4 \
  --version_2_with_negative

结果：

待公布

模型实际应用

使用pipelines快速调用：

from transformers import *

# 重要提示：目前问答pipeline与快速分词器不兼容，但开发团队正在解决。因此需向分词器传递参数{"use_fast": False}，示例如下：

nlp = pipeline(
    'question-answering', 
    model='mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',
    tokenizer=(
        'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',  
        {"use_fast": False}
    )
)

nlp(
    {
        'question': '该模型应用于什么语言？',
        'context': 'Manuel Romero正积极参与huggingface/transformers项目' +
                    '，旨在将最新自然语言处理技术的力量带给西班牙语'
    }
)
# 输出: {'answer': '西班牙语', 'end': 169, 'score': 0.67530957344621, 'start': 163}

在Colab中体验该模型及pipelines：

想了解更多关于Huggingface pipelines？查看这个Colab：

由Manuel Romero/@mrm8488创建

西班牙制造 ❤