语言: 意大利语
组件:

• 文本: "邓南遮何时出生？"
  上下文: "邓南遮出生于1863年"

基于SQuAD-it的意大利语BERT基础未大写版本

模型描述

该模型是意大利语BERT的未大写基础版本（可在dbmdz/bert-base-italian-uncased找到），专门针对问答任务进行了训练。

使用方法

from transformers import pipeline  

nlp = pipeline('question-answering', model='antoniocappiello/bert-base-italian-uncased-squad-it')  

# nlp(context="邓南遮出生于1863年", question="邓南遮何时出生？")  
# {'score': 0.9990354180335999, 'start': 22, 'end': 25, 'answer': '1863'}  

训练数据

模型使用SQuAD-it进行问答任务训练。该数据集源自原始SQuAD数据集，通过半自动翻译为意大利语获得。

训练流程

python ./examples/run_squad.py \  
    --model_type bert \  
    --model_name_or_path dbmdz/bert-base-italian-uncased \  
    --do_train \  
    --do_eval \  
    --train_file ./squad_it_uncased/train-v1.1.json \  
    --predict_file ./squad_it_uncased/dev-v1.1.json \  
    --learning_rate 3e-5 \  
    --num_train_epochs 2 \  
    --max_seq_length 384 \  
    --doc_stride 128 \  
    --output_dir ./models/bert-base-italian-uncased-squad-it/ \  
    --per_gpu_eval_batch_size=3   \  
    --per_gpu_train_batch_size=3   \  
    --do_lower_case \  

评估结果

对比