语言:

• 德语
• 英语
• 多语言 许可证: mit 标签:
• 英语
• 德语

双语英语+德语SQuAD2.0问答数据集

我们创建了德语版SQuAD 2.0（deQuAD 2.0），并将其与SQuAD2.0合并，形成面向问答任务的英德双语训练数据。该数据集采用bert-base-multilingual-cased模型进行双语问答下游任务微调。

deQuAD 2.0详情

SQuAD2.0通过机器翻译转为德语后，我们聘请专业编辑对译文进行校对修正，并双重核验答案，最终形成的德语deQuAD数据集包含13万训练样本和1.1万测试样本。

概览

• 语言模型: bert-base-multilingual-cased
• 支持语言: 德语、英语
• 训练数据: deQuAD2.0 + SQuAD2.0训练集
• 评估数据: SQuAD2.0测试集；deQuAD2.0测试集
• 硬件配置: 8块V100 GPU
• 发布日期: 2021年7月9日

英语SQuAD2.0评估结果

有答案精确率 = 85.79622132253711
有答案F1值 = 90.92004586077663
有答案样本数 = 5928
无答案精确率 = 94.76871320437343
无答案F1值 = 94.76871320437343
无答案样本数 = 5945
综合精确率 = 90.28889076054915
综合F1值 = 92.84713483219753
总样本数 = 11873

德语deQuAD2.0评估结果

有答案精确率 = 63.80526406330638
有答案F1值 = 72.47269140789888
有答案样本数 = 5813
无答案精确率 = 82.0291893792861
无答案F1值 = 82.0291893792861
无答案样本数 = 5687
综合精确率 = 72.81739130434782
综合F1值 = 77.19858740470603
总样本数 = 11500

使用Pipeline调用模型

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="deutsche-telekom/bert-multi-english-german-squad2",
    tokenizer="deutsche-telekom/bert-multi-english-german-squad2"
)

contexts = ["安联球场是位于慕尼黑北部的足球场，德甲比赛时可提供75,021个座位，包括57,343个坐席、13,794个站席、1,374个包厢座位、2,152个商务座和966个赞助商座位。自2005/06赛季起，拜仁慕尼黑在此进行主场比赛。直至2017赛季末，安联球场也是慕尼黑1860的主场。",
            "哈佛大学是一所大型寄宿制研究型大学。该校运营多个艺术、文化和科学博物馆，并拥有全球最大的学术及私立图书馆系统——哈佛图书馆，该系统包含79个独立图书馆，馆藏超过1800万册。"]

questions = ["安联球场位于何处？", 
            "什么是全球最大的学术及私立图书馆系统？"]
 
qa_pipeline(context=contexts, question=questions)

输出结果:

[{'score': 0.7290093898773193,
  'start': 44,
  'end': 62,
  'answer': '慕尼黑北部'},
 {'score': 0.7979822754859924,
  'start': 134,
  'end': 149,
  'answer': '哈佛图书馆'}]

许可证 - MIT许可协议

版权声明 (c) 2021 方旭，德国电信股份公司