语言:

• 英语 许可证: MIT 标签:
• 摘要生成
• t5-large-摘要模型
• 流程:摘要生成 模型索引:
• 名称: sysresearch101/t5-large-finetuned-xsum 结果:

  - 任务:

  类型: 摘要生成

  名称: 摘要生成

  数据集:

  名称: xsum

  类型: xsum

  配置: 3.0.0

  分割: 训练集

  指标:

  - 类型: rouge

  值: <待定>

  名称: ROUGE-1

  已验证: 是

  验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNmE1YjI2OWVjMGRiZWU3MjJhOTViMWIzNWU3MDNlZmFkMmNhZTFiN2RhOTc0ZjkyNzc5ZDg1YWZiZWFhMTEyZiIsInZlcnNpb24iOjF9.ye9137aCRynwSZM0YD2k4_LIcrRU4EyCRjBB8YQ0kUCImJyHNVFPFbbzObfLSM3XQ_tauALczriBCMJ7IGxeDQ

  - 类型: rouge

  值: <待定>

  名称: ROUGE-2

  已验证: 是

  验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYWYzYzZlZTEwYThhYjJkYzE0MzA1ZjE2NDBiMDNjOTNlZWNjNmMxNDJiMDE4OTJhMjdhNGI3OWRiZjQ1M2RhOSIsInZlcnNpb24iOjF9.-6WOpeYKgyiQSvWIeCfJWWTzI8kt_Q5by31r-ceBF384NMf6APLA94jKpLdE2HDbDgUtuxF9LAHFz9jmhkqKCA

  - 类型: rouge

  值: <待定>

  名称: ROUGE-L

  已验证: 是

  验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNDAxODg3ZjRlMmUwZTdjYmRmYTZhMzEwYTg4MmU4NmY2MmJlZTE5N2MxYjY4YmE4NGM0NDJkNDRiYjc2OTQwMSIsInZlcnNpb24iOjF9.iWTpIMKC2HGkJMYOQviXBnc-lj4pHLWVyfMXSfbz26s1KUi5gOD97eEaHeBmUW5IMs64dosTVa6xo3T-5_FdDA

  - 类型: rouge

  值: <待定>

  名称: ROUGE-LSUM

  已验证: 是

  验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMGU2YzFiMDRkOTc2OTFjMGI1MzA3MTgwMzczMjhkMTMxNzkyNDVlZGUzMGM3OTk4ODk0YjQ4MzRjYTVlNmZmNiIsInZlcnNpb24iOjF9.K1duMlA1zQpSiencBbbhpShckuvEb8zspnJG5jf1n65KmNY4Md3VA96ERKixUOIymnTo-gKyS9QEDKblPmR_Ag

  - 类型: 损失

  值: <待定>

  名称: 损失

  已验证: 是

  验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZDQ4MDI4MzgyOWUwYzI0YTE3MTE2ODdhYjU3MGE1MTg1NTU4OTM4NzlmYjE1MDY5M2Q2OTVkZjY4MzRlZTYzOCIsInZlcnNpb24iOjF9.5BMk4fs-oVoDNJnPBpDlSkywd3Qogat4_N8_IdS26AObm2i1blwonx4sy8l8RK50pq16bJbplBEEG-3HuTz9DQ

  - 类型: 生成长度

  值: <待定>

  名称: 生成长度

  已验证: 是

  验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOTE4ZTAzNmYxMzE2NGYzYTM2MzMxNTNlN2M4YmJlOWI3ZWFkMGRlMTc5NGMzNjBlZjg1MjJhZDdlNDIwZTAwNyIsInZlcnNpb24iOjF9._JTVMjukkupE4_QWOQZZZVwmnXSh-ppo7jlGdk0CUxNIIVTStxQhex09O1H6-Ilk9dtYk1PVCNNg8alZAFHeDQ

  • 任务: 类型: 摘要生成 名称: 摘要生成 数据集: 名称: xsum 类型: xsum 配置: 默认 分割: 测试集 指标:
    • 类型: rouge 值: 26.8921 名称: ROUGE-1 已验证: 是 验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZmFkMTFiNmM3YmRkZDk1Y2FhM2EwOTdiYmUwYjBhMGEzZmIyZmIwNWI5OTVmY2U0N2QzYzgxYzM0OTEzMjFjNSIsInZlcnNpb24iOjF9.fOq4zI_BWvTLFJFQOWNk3xEsDIu3aAeboGYPw5TiBqdJJjvdyKmLbfj2WVnNboWbrmp1PuL01iJjTi2Xj6PUAA
    • 类型: rouge 值: 6.9411 名称: ROUGE-2 已验证: 是 验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMTBlZmI3NjQ3M2JiYzI4MTg3YmJkMjg0ZmE5MDUwNzljNTYyM2M0NzA3YTNiNTA2Nzk4MDhhYWZjZjgyMmE1MCIsInZlcnNpb24iOjF9.rH0DY2hMz2rXaK29vkt7xah-3G95rY4MOS2oVKjXmw4TijB-ZVytfLJAlBmyqA8HYAythRCywmLSjjCDWc66Cg
    • 类型: rouge 值: 21.2832 名称: ROUGE-L 已验证: 是 验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiODAwZDYzNTc0NjZhNzNiMDE2ZDY2NjNjNmViNTc0NDVjNTZkYjljODhmYmNiMWFhY2NkZjU5MzQ0NmM0OTcyMSIsInZlcnNpb24iOjF9.5duHtdjZ8dwtbp1HKyMR4mVK9IIlEZvuWGjQMErpE7VNyKPhMOT6Avh_vXFQz6q_jBzqpZGGREho1mt50yBsDw
    • 类型: rouge 值: 21.284 名称: ROUGE-LSUM 已验证: 是 验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMGQ2NmNhZTZmZDFkNTcyYjQ4MjhhYWJhODY1ZGRjODY2ZTE5MmRmZDRlYTk4NWE4YWM1OWY2M2NjOWQ3YzU0OCIsInZlcnNpb24iOjF9.SJ8xTcAVWrRDmJmQoxE1ADIcdGA4tr3V04Lv0ipMJiUksCdNC7FO8jYbjG9XmiqbDnnr5h4XoK4JB4-GsA-gDA
    • 类型: 损失 值: 2.5411810874938965 名称: 损失 已验证: 是 验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZGViNTVlNGI0Njk4NmZmZjExNDBkNTQ4N2FhMzRkZjRjNDNlYzFhZDIyMjJhMmFiM2ZhMTQzYTM4YzNkNWVlNyIsInZlcnNpb24iOjF9.p9n2Kf48k9F9Bkk9j7UKRayvVmOr7_LV80T0ti4lUWFtTsZ91Re841xnEAcKSYgQ9-Bni56ldq9js3kunspJCw
    • 类型: 生成长度 值: 18.7755 名称: 生成长度 已验证: 是 验证令牌: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZmQ1ZWUxNmFjNmU0OGI4MDQyZDNjMWQwZGViNDhlMzE1OGE3YmYwYzZjYmM1NWEwMjk2MDFiMjQ4ZThhMjg5YyIsInZlcnNpb24iOjF9.aNp-NFzBSm84GnXuDtYuHaOsSk7zw8kjCphowYFciwt-aDnhwwurYIr59kMT8JNFMnRInsDi8tvYdapareV3DA

基于XSUM数据集训练的T5-large摘要生成模型

微调后的T5 Large摘要生成模型。

微调语料库

t5-large-finetuned-xsum模型基于huggingface的t5-large模型，使用XSUM数据集进行微调。

加载微调模型

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq, Seq2SeqTrainingArguments, Seq2SeqTrainer

tokenizer = AutoTokenizer.from_pretrained("sysresearch101/t5-large-finetuned-xsum")
model = model = AutoModelForSeq2SeqLM.from_pretrained("sysresearch101/t5-large-finetuned-xsum")

待摘要文章 = "..."

# 生成摘要

input_ids = tokenizer.encode(待摘要文章, return_tensors='pt')
summary_ids = model.generate(input_ids,
            min_length=20,
            max_length=80,
            num_beams=10,
            repetition_penalty=2.5,
            length_penalty=1.0,
            early_stopping=True,
            no_repeat_ngram_size=2,
            use_cache=True,
            do_sample = True,
            temperature = 0.8,
            top_k = 50,
            top_p = 0.95)

summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary_text)

输出: <待定>

如何通过pipeline使用

以下是使用pipeline API调用该模型的方法:

from transformers import pipeline

summarizer = pipeline("summarization", model="sysresearch101/t5-large-finetuned-xsum")

文章 = """ 纽约(CNN)当Liana Barrientos 23岁时，她在纽约威彻斯特郡结婚。
一年后，她再次在威彻斯特郡结婚，但对象是另一个男人且未与第一任丈夫离婚。
仅18天后，她又结婚了。接着，Barrientos又说了五次"我愿意"，有时两次婚礼间隔仅两周。
2010年，她再次结婚，这次是在布朗克斯。在结婚许可证申请中，她声称这是她的"第一次也是唯一一次"婚姻。
现年39岁的Barrientos面临两项"一级提供虚假文书"的刑事指控，指控涉及她在2010年结婚许可证申请中的虚假陈述，根据法庭文件。
检察官称这些婚姻是移民骗局的一部分。
周五，她在布朗克斯州最高法院表示不认罪，据其律师Christopher Wright称，他拒绝进一步置评。
离开法庭后，Barrientos因涉嫌通过紧急出口偷乘纽约地铁而被捕，并被指控盗窃服务和刑事侵入，警方发言人Annette Markowski侦探说。总计，Barrientos已结婚10次，其中9次婚姻发生在1999年至2002年间。
所有婚姻要么发生在威彻斯特郡、长岛、新泽西州，要么在布朗克斯。据检察官称，据信她目前仍与四名男子保持婚姻关系，曾一度同时与八名男子结婚。
检察官表示，移民骗局涉及她的一些丈夫，他们在婚后不久就申请了永久居留身份。
任何离婚都只在这些申请获批后进行。目前尚不清楚是否有任何男子会被起诉。
此案由移民与海关执法局及国土安全部调查局转交布朗克斯地区检察官办公室处理。其中七名男子来自所谓"红色标记"国家，包括埃及、土耳其、格鲁吉亚、巴基斯坦和马里。
她的第八任丈夫Rashid Rajput在联合反恐工作组调查后，于2006年被驱逐回其祖国巴基斯坦。
如果定罪，Barrientos将面临最高四年监禁。她的下一次出庭定于5月18日。
"""
print(summarizer(文章, max_length=130, min_length=30, do_sample=False))
>>> [{'summary_text': '现年39岁的Liana Barrientos被指控两项"一级提供虚假文书"罪名。总计她已结婚10次，其中9次发生在1999年至2002年间。据信她目前仍与四名男子保持婚姻关系。'}]