语言: 英语
许可证: Apache-2.0

Roberta2Roberta_L-24_wikisplit 编码器-解码器模型

该模型由Sascha Rothe、Shashi Narayan和Aliaksei Severyn在这篇论文中提出，并首次发布于此代码库。

该模型是一个编码器-解码器架构，其编码器和解码器均基于roberta-large检查点初始化，并在WikiSplit数据集上针对句子拆分任务进行了微调。

免责声明：本模型卡片由Hugging Face团队撰写。

使用方法

您可以将此模型用于句子拆分任务，例如：

重要提示：该模型未针对"（双引号）字符进行训练，因此在分词前建议将所有"替换为两个'（单引号）。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM  

tokenizer = AutoTokenizer.from_pretrained("google/roberta2roberta_L-24_wikisplit")  
model = AutoModelForSeq2SeqLM.from_pretrained("google/roberta2roberta_L-24_wikisplit")  

long_sentence = """由于飓风影响，龙虾节已被取消，这让Bob非常高兴，于是他决定为原本计划参加龙虾节的顾客开放Bob's Burgers。"""  

input_ids = tokenizer(tokenizer.bos_token + long_sentence + tokenizer.eos_token, return_tensors="pt").input_ids  
output_ids = model.generate(input_ids)[0]  
print(tokenizer.decode(output_ids, skip_special_tokens=True))  
# 预期输出  
# 由于飓风影响，龙虾节已被取消，这让Bob非常高兴。他决定为原本计划参加龙虾节的顾客开放Bob's Burgers。