语言: 中文
许可协议: Apache-2.0
标签:

• 飞马模型
• 序列到序列
• 文本摘要

模型索引:

• 名称: tuner007/pegasus_summarizer
  结果:
  • 任务:
    类型: 文本摘要
    名称: 摘要生成
    数据集:
    名称: cnn_dailymail
    类型: cnn_dailymail
    配置: 3.0.0
    拆分: 训练集
    评估指标:
    • 名称: ROUGE-1
      类型: rouge
      值: 36.604
      已验证: 是
    • 名称: ROUGE-2
      类型: rouge
      值: 14.6398
      已验证: 是
    • 名称: ROUGE-L
      类型: rouge
      值: 23.8845
      已验证: 是
    • 名称: ROUGE-LSUM
      类型: rouge
      值: 32.9017
      已验证: 是
    • 名称: 损失值
      类型: loss
      值: 2.5757133960723877
      已验证: 是
    • 名称: 生成长度
      类型: gen_len
      值: 76.3984
      已验证: 是

模型描述

基于PEGASUS微调的文本摘要模型

安装分词器所需的"sentencepiece"库

pip install sentencepiece  

模型实战演示 🚀

import torch  
from transformers import PegasusForConditionalGeneration, PegasusTokenizer  
model_name = 'tuner007/pegasus_summarizer'  
torch_device = 'cuda' if torch.cuda.is_available() else 'cpu'  
tokenizer = PegasusTokenizer.from_pretrained(model_name)  
model = PegasusForConditionalGeneration.from_pretrained(model_name).to(torch_device)  

def get_response(input_text):  
  batch = tokenizer([input_text],truncation=True,padding='longest',max_length=1024, return_tensors="pt").to(torch_device)  
  gen_out = model.generate(**batch,max_length=128,num_beams=5, num_return_sequences=1, temperature=1.5)  
  output_text = tokenizer.batch_decode(gen_out, skip_special_tokens=True)  
  return output_text  

示例:

上下文 = """
印度守门员击球手里沙布·潘特表示，周三在与英格兰的第三场测试赛中，当投手穆罕默德·西拉吉在场外防守时，有观众向他投掷了一个球。潘特透露这一事件让印度队长维拉特·科利感到"不安"。"我认为有人向场内西拉吉投掷了球，所以他[科利]很不安，"潘特在第一天的比赛结束后的虚拟新闻发布会上说。"你可以随意欢呼，但不要向场外球员投掷物品。这对板球运动不好，我认为，"他补充道。在第三场测试赛第一天的第三节比赛中，部分观众似乎通过询问西拉吉比赛得分来取笑这位投手。然而这位印度投手给出了精彩回应，他向观众比划了1-0（印度领先测试系列赛）的手势。本月早些时候，在第二场测试赛中，就出现了观众不当行为，一些不守规矩的球迷向印度击球手KL·拉胡尔投掷香槟塞。科利也进行了干预，他被看到向开场击球手势询问更多关于事件的情况。一个回合后，电视画面显示许多香槟塞被扔进了比赛场地，印度球员明显感到沮丧。回到比赛中，在将印度队限制在78分后，开场击球手罗里·伯恩斯和哈西布·哈米德确保英格兰在第三场测试赛的第一天取得优势。比赛结束时，英格兰的得分是120/0，主队将领先优势扩大到42分。对于三狮军团，伯恩斯（52*）和哈米德（60*）目前仍在场上。谈到第一天的场地情况，潘特说："他们使用了重型压路机，场地变得更稳定了，他们也打得很好，"他说。"但当我们击球时，场地稍微软一些，他们投球的位置很好，但我们本可以表现得更好。"两位英格兰击球手成功守住了最后一节，主队以全部十个三柱门未失结束第一天，将领先优势扩大到42分。(ANI)
"""

get_response(上下文)  

输出:

印度队守门员击球手里沙布·潘特表示，队长维拉特·科利对观众在利兹测试赛第一天向投手穆罕默德·西拉吉投掷球的行为感到"不安"。"你可以随意欢呼，但不要向场外球员投掷物品。这对板球运动不好，我认为，"潘特补充道。

Inshort（60字新闻摘要应用，在安卓应用商店获得527,246+用户4.4分评分）摘要:

印度守门员击球手里沙布·潘特透露，队长维拉特·科利因观众在利兹测试赛第一天向投手穆罕默德·西拉吉投掷球而感到不满。潘特表示："可以随意欢呼，但向场外球员投掷物品对板球运动不利。"

由阿尔皮特·拉贾乌里亚创建