波斯语XLM-RoBERTA大型问答任务模型

XLM-RoBERTA是一种多语言预训练语言模型，基于包含100种语言的2.5TB过滤CommonCrawl数据进行训练。该模型由Conneau等人在论文《大规模无监督跨语言表示学习》中提出。

多语言XLM-RoBERTa大型问答模型已在多种问答数据集上进行了微调，但尚未涵盖迄今为止最大的波斯语问答数据集PQuAD。本模型即基于此进行二次微调。

PQuAD数据集论文：arXiv:2202.06219

简介

本模型基于PQuAD训练集微调完成，开箱即用。鉴于训练耗时极长，特此发布以方便有需求的研究者。

训练超参数

受限于Google Colab的GPU显存，批量大小设为4：

批量大小 = 4
训练轮数 = 1
基础语言模型 = "deepset/xlm-roberta-large-squad2"
最大序列长度 = 256
学习率 = 3e-5
评估策略 = "每轮"
保存策略 = "每轮"
学习率 = 3e-5
预热比例 = 0.1
梯度累积步数 = 8
权重衰减 = 0.01

性能表现

在PQuAD波斯语测试集（官方链接）上的评估结果：

• 超过1轮训练后性能反而下降
• 本XLM-Roberta模型优于我们在PQuAD上微调的ParsBert，但前者参数量是后者的3倍多，直接比较有失公允。

PQuAD测试集问答表现

使用方法

Pytorch

from transformers import AutoTokenizer, AutoModelForQuestionAnswering
path = 'pedramyazdipoor/persian_xlm_roberta_large'
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForQuestionAnswering.from_pretrained(path)

推理注意事项

1. 答案起始位置需小于结束位置
2. 答案跨度需在上下文范围内
3. 所选跨度应为概率最高的候选组合

def generate_indexes(start_logits, end_logits, N, min_index):
    # 实现候选答案跨度生成的逻辑
    ...

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model.eval().to(device)
text = '你好我是Pedram，今年26岁'
question = '我多大？'
# 编码处理及推理代码
...
>>> ['▁你好', '▁我是', '▁Ped', 'ram', '，', '▁今年', '▁26', '▁岁']
>>> ['▁26']

致谢

特别感谢Newsha Shahbodaghkhan在数据集收集方面的贡献。

贡献者

• Pedram Yazdipoor：Linkedin

版本发布

v0.2版（2022年9月18日）

此为波斯语XLM-Roberta-Large的第二版，解决了先前版本的使用问题。