pipeline_tag: 文本分类
inference: false
language: 西班牙语
tags:

• transformers

Prompsit/paraphrase-roberta-es

该模型用于评估给定短语的释义情况。

此模型基于预训练模型"PlanTL-GOB-ES/roberta-base-bne"进行微调。

本模型由西班牙经济事务与数字化转型部共同资助的TSI-100905-2019-4项目构建。

使用方法

该模型用于回答以下问题："短语B"是否是"短语A"的释义。

请注意，我们处理的是短语而非完整句子。因此需注意模型不预期接收标点符号或长文本片段。

输出概率对应两类：

• 0: 非释义
• 1: 是释义

例如，对于短语"se buscarán acuerdos"和候选释义"se deberá obtener el acuerdo"，可按如下方式使用模型：

import torch  
from transformers import AutoTokenizer, AutoModelForSequenceClassification  

tokenizer = AutoTokenizer.from_pretrained("Prompsit/paraphrase-roberta-es")  
model = AutoModelForSequenceClassification.from_pretrained("Prompsit/paraphrase-roberta-es")  

input = tokenizer('se buscarán acuerdos', 'se deberá obtener el acuerdo', return_tensors='pt')  
logits = model(**input).logits  
soft = torch.nn.Softmax(dim=1)  
print(soft(logits))  

代码输出为：

tensor([[0.2266, 0.7734]], grad_fn=<SoftmaxBackward>)  

由于类别1（是释义）的概率为0.77，类别0（非释义）的概率为0.22，我们可以判定示例中的"se deberá obtener el acuerdo"是"se buscarán acuerdos"的释义。

评估结果

我们使用16,500组人工标注的短语对作为测试数据集，获得的指标如下：

metrics={
 'test_loss': 0.4869941473007202,  
 'test_accuracy': 0.8003636363636364,  
 'test_precision': 0.6692456479690522,  
 'test_recall': 0.5896889646357052,  
 'test_f1': 0.6269535673839184,  
 'test_matthews_correlation': 0.49324489316659575,  
 'test_runtime': 27.1537,  
 'test_samples_per_second': 607.652,  
 'test_steps_per_second': 19.003  
}