语言: zh 标签:

• 摘要生成
• 中文 推理: 否

燃灯-飞马-238M-中文版

• 主页:封神榜
• GitHub: 封神榜大模型

简介

专长于处理文本摘要任务的中文版PAGASUS-base模型。

模型分类

模型详情

基于论文成果：PEGASUS: 基于间隙句提取的抽象摘要预训练模型

为攻克中文自动摘要任务，我们严格遵循PEGASUS架构训练中文版本。采用悟道语料库（180GB版）作为预训练数据集。针对中文分词的特性，本模型创新性地融合了结巴分词与BERT分词器。我们同时提供大尺寸版本：IDEA-CCNL/燃灯-飞马-523M-中文版，以及在中文摘要数据集上微调的版本：燃灯-飞马-238M-摘要-中文版。

使用指南

from transformers import PegasusForConditionalGeneration
# 需提前从封神榜大模型GitHub仓库下载tokenizers_pegasus.py等文件
# 或直接下载HuggingFace仓库中的tokenizers_pegasus.py和data_utils.py
# 强烈建议克隆封神榜项目：
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/
# 即可获取飞马模型所需的tokenizers_pegasus.py和data_utils.py
from tokenizers_pegasus import PegasusTokenizer

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-238M-Chinese")
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-238M-Chinese")

text = "据微信公众号「界面」报道，4日上午10点左右，中国发改委反垄断调查小组突击查访奔驰上海办事处，调取数据材料，并对多名奔驰高管进行了约谈。截止昨日晚9点，包括北京梅赛德斯-奔驰销售服务有限公司东区总经理在内的多名管理人员仍留在上海办公室内"
inputs = tokenizer(text, max_length=512, return_tensors="pt")

# 生成摘要
summary_ids = model.generate(inputs["input_ids"])
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
# 模型输出示例: 截止昨日晚9点，包括北京梅赛德斯-奔驰销售服务有限公司东区总经理在内的多名管理人员仍留在上海办公室内

引用规范

若使用本模型，请引用我们的论文：

@article{fengshenbang,
  author    = {张嘉旭等},
  title     = {封神榜1.0：中文认知智能基石},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

亦可引用项目主页：

@misc{封神榜大模型,
  title={封神榜大模型},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}