language: pl

多语言+波兰语SQuAD1.1模型

该模型由谷歌研究团队提供的多语言基础模型，针对波兰语问答下游任务进行了微调。

语言模型详情

采用bert-base-multilingual-cased架构：

• 12层Transformer结构
• 768维隐藏层
• 12个注意力头
• 1.1亿参数 基于维基百科规模最大的104种语言的区分大小写文本训练

下游任务处理细节

使用mtranslatePython模块对SQuAD1.1进行机器翻译。通过检索答案直译内容在段落中的起始位置进行标注。由于纯答案缺乏上下文导致的翻译差异，部分答案无法定位，造成数据样本流失。这是数据集中可能存在的误差来源。

模型性能对比

模型训练

使用Tesla V100显卡执行以下训练命令：

export SQUAD_DIR=path/to/pl_squad

python run_squad.py 
  --model_type bert \
  --model_name_or_path bert-base-multilingual-cased \
  --do_train \
  --do_eval \
  --train_file $SQUAD_DIR/pl_squadv1_train_clean.json \
  --predict_file $SQUAD_DIR/pl_squadv1_dev_clean.json \
  --num_train_epochs 2 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps=8000 \
  --output_dir ../../output \
  --overwrite_cache \
  --overwrite_output_dir

评估结果: {'exact': 60.670731707317074, 'f1': 71.8952193697293, 'total': 2624, 'HasAns_exact': 60.670731707317074, 'HasAns_f1': 71.8952193697293, 'HasAns_total': 2624, 'best_exact': 60.670731707317074, 'best_exact_thresh': 0.0, 'best_f1': 71.8952193697293, 'best_f1_thresh': 0.0}

快速调用

通过pipeline快速使用：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="henryk/bert-base-multilingual-cased-finetuned-polish-squad1",
    tokenizer="henryk/bert-base-multilingual-cased-finetuned-polish-squad1"
)

qa_pipeline({
    'context': "Warszawa jest największym miastem w Polsce pod względem liczby ludności i powierzchni",
    'question': "Jakie jest największe miasto w Polsce?"})

输出示例:

{
  "score": 0.9988,
  "start": 0, 
  "end": 8,
  "answer": "Warszawa"
}

联系方式

如需获取波兰语版SQuAD数据集或技术讨论，欢迎通过LinkedIn联系。