标签:

• 多语言 数据集:
• xquad

用于多语言问答的xlm-roberta-large模型

概述

语言模型: xlm-roberta-large
下游任务: 抽取式问答
训练数据: XQuAD
测试数据: XQuAD

超参数

batch_size = 48  
n_epochs = 13  
max_seq_len = 384  
doc_stride = 128  
learning_rate = 3e-5  

性能表现

在XQuAD预留测试集上的评估结果：

"exact_match": 87.12546816479401,  
"f1": 94.77703248802527,  
"test_samples": 2307  

使用方式

在Transformers中使用

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline  

model_name = "alon-albalak/xlm-roberta-large-xquad"  

# a) 获取预测结果  
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)  
QA_input = {  
    'question': '为什么模型转换很重要？',  
    'context': '在FARM和transformers之间转换模型的选项为用户提供了自由，让人们可以轻松地在框架之间切换。'  
}  
res = nlp(QA_input)  

# b) 加载模型和分词器  
model = AutoModelForQuestionAnswering.from_pretrained(model_name)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

在FARM中使用

from farm.modeling.adaptive_model import AdaptiveModel  
from farm.modeling.tokenization import Tokenizer  
from farm.infer import QAInferencer  

model_name = "alon-albalak/xlm-roberta-large-xquad"  

# a) 获取预测结果  
nlp = QAInferencer.load(model_name)  
QA_input = [{"questions": ["为什么模型转换很重要？"],  
             "text": "在FARM和transformers之间转换模型的选项为用户提供了自由，让人们可以轻松地在框架之间切换。"}]  
res = nlp.inference_from_dicts(dicts=QA_input, rest_api_schema=True)  

# b) 加载模型和分词器  
model = AdaptiveModel.convert_from_transformers(model_name, device="cpu", task_type="question_answering")  
tokenizer = Tokenizer.load(model_name)  

在Haystack中使用

reader = FARMReader(model_name_or_path="alon-albalak/xlm-roberta-large-xquad")  
# 或者  
reader = TransformersReader(model="alon-albalak/xlm-roberta-large-xquad",tokenizer="alon-albalak/xlm-roberta-large-xquad")  

FARM和Haystack的使用说明改编自 https://huggingface.co/deepset/xlm-roberta-large-squad2