language: "zh"

BART-Squad2问答模型

模型描述

基于BART架构的抽取式（片段式）问答模型，在Squad 2.0数据集上训练完成。

F1得分为87.4。

使用场景与限制

需要注意的是，Huggingface的自动推理API无法运行此模型。如果您尝试通过上方输入框测试时遇到报错，请不要气馁！

使用方法

以下是快速本地运行问答功能的代码示例：

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("Primer/bart-squad2")
model = AutoModelForQuestionAnswering.from_pretrained("Primer/bart-squad2")
model.to('cuda'); model.eval()

def answer(question, text):
    seq = '<s>' +  question + ' </s> </s> ' + text + ' </s>'
    tokens = tokenizer.encode_plus(seq, return_tensors='pt', padding='max_length', max_length=1024)
    input_ids = tokens['input_ids'].to('cuda')
    attention_mask = tokens['attention_mask'].to('cuda')
    start, end, _ = model(input_ids, attention_mask=attention_mask)
    start_idx = int(start.argmax().int())
    end_idx =  int(end.argmax().int())
    print(tokenizer.decode(input_ids[0, start_idx:end_idx]).strip())
    # ^^ 若模型判定"不可回答"，将返回空字符串

>>> question = "汤姆住在哪里？"
>>> context = "汤姆是旧金山的一名工程师。"
>>> answer(question, context)
旧金山

（若使用CPU运行，请移除.to('cuda')相关代码）

局限性

目前尚未进行深入评估，技术层面最大的限制是模型体积达1.6GB 😬

训练过程

使用run_squad.py脚本训练，参数配置：

训练过程中冻结了共享参数和编码器嵌入层。