语言: 德语
标签:

• pytorch
• tf
• Gelectra
  数据集:
• mlqa
  评估指标:
• f1
• em

基于MLQA德语数据集训练的问答模型

微调所用模型为deepset.ai提供的GELECTRA Large版本

MLQA开发集（德语）

EM（精确匹配）: 64.27
F1分数: 77.39

XQUAD测试集（德语）

EM（精确匹配）: 66.38
F1分数: 82.25

超参数配置

单GPU训练批大小: 4
单GPU评估批大小: 32
梯度累积步数: 8
学习率: 3e-5
训练轮次: 1.0
最大序列长度: 384
文档滑动步长: 128

模型推理示例：

!pip install -q transformers
from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="Sahajtomar/GELECTRAQA",
    tokenizer="Sahajtomar/GELECTRAQA"
)

qa_pipeline({
    'context': "数年前，科学家在人体细胞内发现了一种重要诱变剂——通常作为病毒防御机制的APOBEC蛋白。如今，由瑞士日内瓦大学遗传学家Sergey Nikolaev领导的瑞士-俄罗斯团队揭示了APOBEC如何利用DNA复制过程的缺陷诱发基因组突变。",
    'question': "哪种诱变剂具有抗病毒感染保护作用？"
    
})

# 输出结果
{'answer': 'APOBEC', 'end': 121, 'score': 0.987, 'start': 115}

## 复杂查询也能有效处理
qa_pipeline({
    "context": "恒星质量黑洞被认为形成于大质量恒星生命末期坍缩时。黑洞形成后可通过吸收周围物质持续增长，通过吞噬其他恒星或与其它黑洞合并，最终形成数百万太阳质量(M☉)的超大质量黑洞。学界普遍认为绝大多数星系中心都存在超大质量黑洞。",
    'question': "太阳质量是如何形成的？"
})

# 输出结果
{'answer': '通过吞噬其他恒星或与其它黑洞合并',
 'end': 332,
 'score': 0.23970196,
 'start': 253}