语言: 中文
标签:

• 摘要生成
  推理: 否

燃灯-飞马-523M-中文版

• 主页: 封神榜
• GitHub: 封神榜大模型

简介

专精于文本摘要任务的中文版PAGASUS-large模型。

模型分类

模型信息

核心论文: PEGASUS: 基于间隙句提取的抽象摘要预训练

为攻克中文自动摘要任务，我们严格遵循PEGASUS架构训练中文版本。采用180G版悟道语料库作为预训练数据，并针对中文分词的稳定性问题，创新性地融合了结巴分词与BERT分词器。同时提供基础版模型IDEA-CCNL/Randeng-Pegasus-238M-Chinese及中文摘要数据集微调版Randeng-Pegasus-523M-Summary-Chinese。

使用指南

from transformers import PegasusForConditionalGeneration  
# 需提前从封神榜-LM的GitHub仓库下载tokenizers_pegasus.py等文件  
# 或直接获取https://huggingface.co/IDEA-CCNL/Randeng_Pegasus_523M/tree/main中的相关脚本  
# 强烈建议克隆仓库：  
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM  
# 2. cd Fengshenbang-LM/fengshen/examples/pegasus/  
# 即可获取飞马模型所需的tokenizers_pegasus.py和data_utils.py  
from tokenizers_pegasus import PegasusTokenizer  

model = PegasusForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Chinese")  
tokenizer = PegasusTokenizer.from_pretrained("IDEA-CCNL/Randeng-Pegasus-523M-Chinese")  

text = "据微信公众号「界面」报道，4日上午10点左右，中国发改委反垄断调查小组突击查访奔驰上海办事处..."  
inputs = tokenizer(text, max_length=1024, return_tensors="pt")  

# 生成摘要  
summary_ids = model.generate(inputs["input_ids"])  
tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]  

# 模型输出示例: "截止昨日晚9点，包括北京梅赛德斯-奔驰销售服务有限公司东区总经理在内的多名管理人员仍留在上海办公室内"  

引用规范

若使用本模型，请引用我们的论文:

@article{fengshenbang,  
  author    = {张嘉旭等},  
  title     = {封神榜1.0：中文认知智能基石},  
  journal   = {CoRR},  
  volume    = {abs/2209.02970},  
  year      = {2022}  
}  

或引用项目主页:

@misc{Fengshenbang-LM,  
  title={封神榜大模型},  
  author={IDEA-CCNL},  
  year={2021},  
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},  
}