许可协议: apache-2.0 数据集:

• samsum
• cnn_dailymail
• kmfoda/booksum
• pszemraj/scientific_lay_summarisation-plos-norm 语言:
• 英语 任务标签: 文本摘要

飞马座-X-综合摘要模型

模型说明

本模型是基于Pegasus-x-large模型在CNN每日邮报、Samsum、Booksum和Laysum混合数据集的过滤子集上进行微调的版本，能够生成长文本的抽象摘要。

使用场景与限制

该模型适用于英语长文本摘要（如学术文稿、会议记录或文学作品），不适用于短文本（如推文、标题或图片说明）。若输入文本包含事实错误、俚语或冒犯性语言，模型可能产生不准确或带有偏见的摘要。

使用方法

可通过transformers库的pipeline函数调用：

from transformers import pipeline

summarizer = pipeline("summarization", "joemgu/pegasus-x-sumstew")
text = "爱丽丝开始厌倦坐在河岸边的姐姐身旁无所事事..." # 示例长文本
summary = summarizer(text,
                     num_beams=8,
                     repetition_penalty=3.5,
                     no_repeat_ngram_size=4,
                     encoder_no_repeat_ngram_size=4
    )[0]["summary_text"]
print(summary)

输出示例：

爱丽丝是个无聊又好奇的女孩，她跟随一只戴怀表的白兔进入树洞，开启了一段遇见各种奇特生物的奇幻冒险。

训练数据

模型在CNN每日邮报、Samsum、Booksum和Laysum数据集的过滤子集上微调。该子集筛选了1000词以上的文本及100词以内的摘要，共包含约15万条样本。

评估结果

待补充

局限性与偏差

模型可能继承自预训练模型和微调数据集的固有偏差：

1. 预训练语料可能未充分体现语言文化多样性
2. 不同领域数据存在文体惯例和观点差异
3. 抽象摘要可能遗漏原文细节
4. 数据时效性可能影响当前趋势的反映

使用者应评估模型在具体场景中的适用性，注意这些潜在限制。