数据集:

• squad_v2

基于SQuADv2微调的XLM-ROBERTA-LARGE模型

这是针对问答任务在SQuADv2数据集上微调的xlm-roberta-large模型

模型详情

XLM-Roberta模型在论文XLM-R: 通过自监督实现最先进的跨语言理解中提出

模型训练

该模型使用simpletransformers封装库训练，参数如下：

训练参数 = {
    '学习率': 1e-5,
    '最大序列长度': 512,
    '文档滑动步长': 512,
    '覆盖输出目录': True,
    '重新处理输入数据': False,
    '训练批次大小': 8,
    '训练轮数': 2,
    '梯度累积步数': 2,
    '禁用缓存': True,
    '使用缓存评估特征': False,
    '每轮保存模型': False,
    '输出目录': "bart-squadv2",
    '评估批次大小': 32,
    'FP16优化级别': 'O2',
    }

评估结果

{"正确": 6961, "相似": 4359, "错误": 553, "评估损失": -12.177856394381962}

模型实战 🚀

from transformers import XLMRobertaTokenizer, XLMRobertaForQuestionAnswering
import torch

tokenizer = XLMRobertaTokenizer.from_pretrained('a-ware/xlmroberta-squadv2')
model = XLMRobertaForQuestionAnswering.from_pretrained('a-ware/xlmroberta-squadv2')

问题, 文本 = "吉姆·汉森是谁？", "吉姆·汉森是个很棒的木偶师"
编码 = tokenizer(问题, 文本, return_tensors='pt')
输入ID = 编码['input_ids']
注意力掩码 = 编码['attention_mask']

起始分数, 结束分数 = model(输入ID, attention_mask=注意力掩码, output_attentions=False)[:2]

所有标记 = tokenizer.convert_ids_to_tokens(输入ID[0])
答案 = ' '.join(所有标记[torch.argmax(起始分数) : torch.argmax(结束分数)+1])
答案 = tokenizer.convert_tokens_to_ids(答案.split())
答案 = tokenizer.decode(答案)
#答案 => '很棒的木偶师'

由A-ware UG倾情打造