数据集:

• squad_v2

基于SQuADv2微调的BART-LARGE模型

这是针对问答任务在SQuADv2数据集上微调的bart-large模型

模型详情

BART模型发表于论文《BART: 用于自然语言生成、翻译与理解的去噪序列到序列预训练》。BART是一个同时适用于自然语言生成(NLG)和自然语言理解(NLU)任务的序列到序列模型。

在问答任务中，我们将完整文档输入编码器和解码器，并使用解码器的顶层隐藏状态作为每个单词的表征。该表征用于对标记进行分类。如论文所述，bart-large在SQuAD上的表现与ROBERTa相当。BART另一个显著特点是能处理长达1024个标记的序列。

模型训练

本模型使用simpletransformers封装库以如下参数训练：

训练参数 = {
    '学习率': 1e-5,
    '最大序列长度': 512,
    '文档步长': 512,
    '覆盖输出目录': True,
    '重新处理输入数据': False,
    '训练批次大小': 8,
    '训练轮次': 2,
    '梯度累积步数': 2,
    '禁用缓存': True,
    '使用缓存评估特征': False,
    '每轮保存模型': False,
    '输出目录': "bart-squadv2",
    '评估批次大小': 32,
    '混合精度级别': 'O2',
    }

您可以通过此Colab笔记本自行训练模型

性能表现

{"正确": 6832, "相似": 4409, "错误": 632, "评估损失": -14.950117511952177}

模型实战 🚀

from transformers import BartTokenizer, BartForQuestionAnswering
import torch

tokenizer = BartTokenizer.from_pretrained('a-ware/bart-squadv2')
model = BartForQuestionAnswering.from_pretrained('a-ware/bart-squadv2')

问题, 文本 = "吉姆·汉森是谁？", "吉姆·汉森是个善良的木偶"
编码 = tokenizer(问题, 文本, return_tensors='pt')
输入标识 = 编码['input_ids']
注意力掩码 = 编码['attention_mask']

起始分数, 结束分数 = model(输入标识, attention_mask=注意力掩码, output_attentions=False)[:2]

所有标记 = tokenizer.convert_ids_to_tokens(输入标识[0])
答案 = ' '.join(所有标记[torch.argmax(起始分数) : torch.argmax(结束分数)+1])
答案 = tokenizer.convert_tokens_to_ids(答案.split())
答案 = tokenizer.decode(答案)
#答案 => '个善良的木偶'

由A-ware UG倾情打造