燃灯-Pegasus-523M-中文摘要模型

• 主页：封神榜
• GitHub: 封神榜大模型

模型简介

专精于文本摘要任务，是在多个中文摘要数据集上微调后的中文版PAGASUS-large模型。

模型分类

模型详情

参考论文：PEGASUS: 基于间隙句提取的抽象摘要预训练

基于燃灯-Pegasus-523M-中文基础模型，我们在7个中文领域的文本摘要数据集（约400万样本）上进行微调得到摘要专用版本。数据集涵盖：教育、新闻2016中文、NLPCC、神策、搜狐、清华新闻和微博领域。

下游表现

使用方式

from transformers import PegasusForConditionalGeneration
# 需提前从封神榜GitHub仓库下载tokenizers_pegasus.py等文件
# 或直接下载：https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main
# 强烈建议克隆仓库：
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Summary-Chinese")

text = "据微信公众号"界面"报道，4日上午10点左右，中国发改委反垄断调查小组突击查访奔驰上海办事处，调取数据材料，并对多名奔驰高管进行了约谈。截止昨日晚9点，包括北京梅赛德斯-奔驰销售服务有限公司东区总经理在内的多名管理人员仍留在上海办公室内"
inputs = tokenizer(text, max_length=1024, return_tensors="pt")

# 生成摘要
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# 模型输出：反垄断调查小组突击查访奔驰上海办事处，对多名奔驰高管进行约谈

引用文献

如果使用本模型，请引用我们的论文：

@article{fengshenbang,
  author    = {贾兴张等},
  title     = {封神榜1.0：中文认知智能基石},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

或引用项目主页：

@misc{封神榜大模型,
  title={封神榜大模型},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}