语言: 波斯语 标签:

• 复述 数据集:
• tapaco 小部件示例:
• 文本: "这是一篇关于德国的短篇文章。您可以通过扩展它来帮助维基百科。"
• 文本: "要购买一本书，您需要使用在线商店。"

波斯语T5复述模型

这是一个针对波斯语的文本复述模型。它基于波斯语单语T5模型构建。

使用方法

>>> pip install transformers
>>> from transformers import (T5ForConditionalGeneration, AutoTokenizer, pipeline)
>>> import torch

模型路径 = 'erfan226/persian-t5-paraphraser'
模型 = T5ForConditionalGeneration.from_pretrained(模型路径)
分词器 = AutoTokenizer.from_pretrained(模型路径)
管道 = pipeline(task='text2text-generation', model=模型, tokenizer=分词器)

def 复述(文本):
  for 次数 in range(5):
    输出 = 管道(文本, encoder_no_repeat_ngram_size=5, do_sample=True, num_beams=5, max_length=128)[0]['generated_text']
    print("复述结果:", 输出)

文本 = "这是一篇关于德国的短篇文章。您可以通过扩展它来帮助维基百科。"
print("原文:", 文本)
复述(文本)

# 原文: 这是一篇关于德国的短篇文章。您可以通过扩展它来帮助维基百科。
# 复述结果: 这是一篇短文。
# 复述结果: 这是一篇短文。
# 复述结果: 您可以通过扩展这篇文章来帮助您的业务。
# 复述结果: 您可以通过扩展这篇关于德国的短文来提供帮助。
# 复述结果: 您可以通过扩展这篇短文来帮助扩展它。

训练数据

本模型使用Tapaco数据集的波斯语子集进行训练。需要注意的是，由于当前训练数据量较小，模型性能可能未达预期。