许可证: MIT
数据集:

• big_patent
  语言:
• 英语
  评估指标:
• ROUGE
  标签:
• 摘要生成
• 摘要器
• 文本摘要
• 生成式摘要
  流水线标签: 摘要生成

目录

1. 模型详情
2. 使用方法
3. 训练详情
4. 训练结果
5. 引用
6. 作者

模型详情

此模型是基于facebook/bart-base的变体，专门针对文本摘要任务进行了微调。该模型旨在利用BART的双向（类似BERT）编码器和自回归（类似GPT）解码器方法，从长篇文本中生成简洁、连贯且信息丰富的摘要。

使用方法

该模型适用于将长篇文本压缩为简洁、信息丰富的摘要。特别适合需要快速掌握详细报告、研究论文或文章核心内容的专业人士和研究人员。

快速开始

通过pip安装：

pip install transformers  

在Python中使用：

from transformers import pipeline  
from transformers import AutoTokenizer  
from transformers import AutoModelForSeq2SeqLM  

model_name = "KipperDev/bart_summarizer_model"  

tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)  
summarizer = pipeline("summarization", model=model, tokenizer=tokenizer)  

# 示例用法  
prefix = "summarize: "  
input_text = "此处输入您的文本。"  
input_ids = tokenizer.encode(prefix + input_text, return_tensors="pt")  
summary_ids = model.generate(input_ids)  
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)  

print(summary)  

注意：为了使模型按预期工作，需要在输入数据前添加'summarize:'前缀

训练详情

训练数据

模型使用Big Patent Dataset进行训练，该数据集包含130万份美国专利文件及其对应的人工撰写摘要。选择此数据集是因为其丰富的语言和复杂的结构，能够代表文档摘要任务的挑战性。

训练过程中使用了数据集的多个子集，以确保模型在各类文档类型上的广泛覆盖和稳健性能。

训练过程

训练分为三轮进行，初始设置包括学习率为0.00002，批次大小为8，训练4个周期。后续轮次调整了这些参数以进一步优化模型性能，分别设置为0.0003、8和12。此外，应用了线性衰减学习率调度，以随时间提高模型的学习效率。

训练结果

使用ROUGE指标评估模型性能，结果显示其生成的摘要与人工撰写的摘要高度吻合。

引用

BibTeX:

@article{kipper_t5_summarizer,  
 // 即将发布  
}  

作者

此模型卡片由Fernanda Kipper撰写