语言: 匈牙利语
缩略图:
标签:

• 问答系统
• BERT

微件示例:

• 文本: "哪条河流将布达佩斯一分为二？"
  上下文: "匈牙利首都布达佩斯被多瑙河一分为二。19世纪建造的链桥连接了丘陵起伏的布达地区与平坦的佩斯地区。乘坐城堡山旁的缆车可抵达布达老城，那里的布达佩斯历史博物馆展示了从罗马时代至今的城市生活。圣三一广场坐落着13世纪的马加什教堂和渔人堡的瞭望塔，登塔可远眺城市美景。"
• 文本: "如何前往老城区？"
  上下文: "匈牙利首都布达佩斯被多瑙河一分为二。19世纪建造的链桥连接了丘陵起伏的布达地区与平坦的佩斯地区。乘坐城堡山旁的缆车可抵达布达老城，那里的布达佩斯历史博物馆展示了从罗马时代至今的城市生活。圣三一广场坐落着13世纪的马加什教堂和渔人堡的瞭望塔，登塔可远眺城市美景。"

模型描述

基于huBERT基础模型（区分大小写）在SQuADv2数据集上的微调（新！）

• huBERT模型及分词器: https://huggingface.co/SZTAKI-HLT/hubert-base-cc
• 匈牙利语SQuADv2数据集: 机器翻译的SQuAD数据集（谷歌翻译API）

"SQuAD2.0将SQuAD1.1中的10万个问题与超过5万个由众包人员编写的不可回答问题相结合，这些问题被设计成与可回答问题相似。要在SQuAD2.0上表现良好，系统不仅需要在可能时回答问题，还需要确定段落中是否没有支持答案的内容并选择不回答。[1]"

模型使用

• 使用pipeline快速调用:

from transformers import pipeline  
qa_pipeline = pipeline(  
    "question-answering",  
    model="mcsabai/huBert-fine-tuned-hungarian-squadv2",  
    tokenizer="mcsabai/huBert-fine-tuned-hungarian-squadv2",  
    topk = 1,  
    handle_impossible_answer = True  
)  
predictions = qa_pipeline({  
    'context': "我叫马泰，在布达佩斯生活了四年多。",  
    'question': "马泰住在哪里？"  
})  
print(predictions)  
# 输出:  
# {'score': 0.9892364144325256, 'start': 16, 'end': 26, 'answer': '布达佩斯'}  

两个重要参数:

• topk (整数，可选，默认为1) — 返回的答案数量（按可能性排序）。注意，如果上下文中没有足够的选项，返回的答案可能少于topk指定的数量。

• handle_impossible_answer (布尔值，可选，默认为False): 是否接受“无答案”作为回答。

[1] https://rajpurkar.github.io/SQuAD-explorer/