语言: 英语
许可证: Apache-2.0
标签:

• 变形金刚
• BART
• 改写
• 序列到序列
  数据集:
• Quora
• PAWS

BART 改写模型（大型）

一个基于3个改写数据集微调的大型BART序列到序列（文本生成）模型。

模型描述

BART模型由Lewis等人在论文BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension（2019）中提出。

• BART采用标准的序列到序列/机器翻译架构，包含一个双向编码器（类似BERT）和一个从左到右的解码器（类似GPT）。
• 预训练任务包括随机打乱原始句子顺序和一种新颖的填充方案，其中文本片段被替换为单个掩码标记。
• BART在微调用于文本生成时特别有效。本模型在3个改写数据集（Quora、PAWS和MSR改写语料库）上进行了微调。

原始BART代码来自此仓库。

预期用途与限制

您可以使用预训练模型对输入句子进行改写。

使用方法

import torch  
from transformers import BartForConditionalGeneration, BartTokenizer  

input_sentence = "They were there to enjoy us and they were there to pray for us."  

model = BartForConditionalGeneration.from_pretrained('eugenesiow/bart-paraphrase')  
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")  
model = model.to(device)  
tokenizer = BartTokenizer.from_pretrained('eugenesiow/bart-paraphrase')  
batch = tokenizer(input_sentence, return_tensors='pt')  
generated_ids = model.generate(batch['input_ids'])  
generated_sentence = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)  

print(generated_sentence)  

输出

['They were there to enjoy us and to pray for us.']  

训练数据

该模型基于预训练的facebook/bart-large，使用Quora、PAWS和MSR改写语料库进行微调。

训练流程

我们遵循simpletransformers序列到序列示例中提供的训练流程。

BibTeX条目与引用信息

@misc{lewis2019bart,  
      title={BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension},   
      author={Mike Lewis and Yinhan Liu and Naman Goyal and Marjan Ghazvininejad and Abdelrahman Mohamed and Omer Levy and Ves Stoyanov and Luke Zettlemoyer},  
      year={2019},  
      eprint={1910.13461},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}