数据集:

• 问答数据集SQuAD

基于SQuADv1微调的BART-LARGE模型

这是针对问答任务在SQuADv1数据集上微调的bart-large模型

模型详情

BART模型发表于论文《BART: 用于自然语言生成、翻译与理解的去噪序列到序列预训练》。BART是一个同时适用于自然语言生成(NLG)和自然语言理解(NLU)任务的序列到序列模型。

在问答任务中，我们将完整文档输入编码器和解码器，并使用解码器顶层的隐藏状态作为每个单词的表征。该表征用于对标记进行分类。如论文所述，bart-large在SQuAD上的表现与ROBERTa相当。BART的另一显著特点是能处理长达1024个标记的序列。

模型训练

本模型在Google Colab的V100 GPU上完成训练。微调代码详见：

性能表现

实际表现略低于论文报告值。原论文指出bart-large达到88.8的精确匹配(EM)和94.6的F1值。

模型实战演示 🚀

from transformers import BartTokenizer, BartForQuestionAnswering
import torch

tokenizer = BartTokenizer.from_pretrained('valhalla/bart-large-finetuned-squadv1')
model = BartForQuestionAnswering.from_pretrained('valhalla/bart-large-finetuned-squadv1')

question, text = "吉姆·汉森是谁？", "吉姆·汉森是个出色的木偶师"
encoding = tokenizer(question, text, return_tensors='pt')
input_ids = encoding['input_ids']
attention_mask = encoding['attention_mask']

start_scores, end_scores = model(input_ids, attention_mask=attention_mask, output_attentions=False)[:2]

all_tokens = tokenizer.convert_ids_to_tokens(input_ids[0])
answer = ' '.join(all_tokens[torch.argmax(start_scores) : torch.argmax(end_scores)+1])
answer = tokenizer.convert_tokens_to_ids(answer.split())
answer = tokenizer.decode(answer)
# 输出答案 => '出色的木偶师'

由Suraj Patil倾情打造