语言: "英语" 标签:

• 复述生成
• 文本生成
• 条件生成 推理: false

复述生成模型

模型描述

用于生成英语句子复述的T5模型。基于Google PAWS数据集训练而成。

使用方法

需要安装sentencepiece库：# !pip install sentencepiece

提供PyTorch和TensorFlow两种模型版本

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("Vamsi/T5_Paraphrase_Paws")  
model = AutoModelForSeq2SeqLM.from_pretrained("Vamsi/T5_Paraphrase_Paws").to('cuda')

sentence = "这完全是我无法理解的事情"

text =  "paraphrase: " + sentence + " </s>"

encoding = tokenizer.encode_plus(text,pad_to_max_length=True, return_tensors="pt")
input_ids, attention_masks = encoding["input_ids"].to("cuda"), encoding["attention_mask"].to("cuda")


outputs = model.generate(
    input_ids=input_ids, attention_mask=attention_masks,
    max_length=256,
    do_sample=True,
    top_k=120,
    top_p=0.95,
    early_stopping=True,
    num_return_sequences=5
)

for output in outputs:
    line = tokenizer.decode(output, skip_special_tokens=True,clean_up_tokenization_spaces=True)
    print(line)

如需了解更多关于训练自定义T5模型或使用本模型的信息，请参考复述生成器。