语言: 意大利语
数据集:

• tapaco
• stsb_multi_mt
  许可证: cc-by-nc-sa-4.0
  标签:
• mt5
• 复述生成
• 复述

基于Tapaco和STS基准数据集微调的MT5-base复述模型

该MT5-base意大利语复述模型在TaPaCo和STS Benchmark数据集上进行了微调

MT5模型详情

MT5模型由Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel在2020年发表的论文mT5: A massively multilingual pre-trained text-to-text transformer中提出。以下是摘要：

最近的"Text-to-Text Transfer Transformer"（T5）通过统一的文本到文本格式和规模，在多种英语NLP任务上取得了最先进的成果。本文中，我们介绍了mT5，这是T5的多语言变体，基于一个涵盖101种语言的新Common Crawl数据集进行了预训练。我们详细描述了mT5的设计和修改后的训练过程，并展示了其在多种多语言基准测试中的最先进性能。我们还描述了一种简单技术，用于防止在零样本设置中的"意外翻译"，即生成模型选择（部分）将其预测错误地翻译成另一种语言。本工作中使用的所有代码和模型检查点均已公开。

模型微调

训练脚本是对此Colab笔记本稍作修改后的版本，并通过遵循另一个Colab笔记本准备了适配意大利语版本的mt5模型。

模型实战

from transformers import T5ForConditionalGeneration, T5Tokenizer  
import torch  

raw_model = 'aiknowyou/mt5-base-it-paraphraser'  

# 模型和分词器定义 #  
model = T5ForConditionalGeneration.from_pretrained(raw_model)  
tokenizer = T5Tokenizer.from_pretrained(raw_model)  

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")  
max_size = 10000  

def paraphrase(text, beams=100, grams=10, num_return_sequences=5):  
    x = tokenizer(text, return_tensors='pt', padding=True).to(model.device)  
    max_size = int(x.input_ids.shape[1] * 1.5 + 10)  
    out = model.generate(**x, encoder_no_repeat_ngram_size=grams, num_beams=beams, num_return_sequences=num_return_sequences, max_length=max_size)  
    return tokenizer.batch_decode(out, skip_special_tokens=True)  

sentence = "Due amici si incontrano al bar per discutere del modo migliore di generare parafrasi."  
print(paraphrase(sentence))  

输出

原始句子::  
"Due amici si incontrano al bar per discutere del modo migliore di generare parafrasi."  

复述后的句子::  
'Due amici stanno discutendo del modo migliore per generare parafrasi.',  
'Due amici si incontrano a un bar per discutere del modo migliore per generare parafrasi.',  
'Due amici si incontrano al bar per parlare del modo migliore per generare parafrasi.',  
'Due amici sono seduti al bar per discutere del modo migliore per generare parafrasi.',  
'Due amici si incontrano in un bar per discutere del modo migliore per generare parafrasi.'  

贡献

感谢@tradicio添加此模型。

许可证

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。