标签:

• 文本到文本生成
• 中文
• 序列到序列 语言: zh

中文BART-Large模型

新闻动态

2022年12月30日

我们发布了CPT与中文BART的升级版本。新版本主要包含以下改进：

• 词表优化 采用基于训练数据构建的51271大小新词表：1) 补全6800+缺失汉字（多为繁体字）；2) 移除冗余标记（如带##前缀的中文字符）；3) 新增英文token以降低未登录词率
• 位置编码扩展 将最大位置编码长度从512扩展到1024

通过词汇对齐技术，我们在旧版检查点基础上初始化新模型：复制既有token嵌入，随机初始化新增参数。随后使用2048批量大小、1024最大序列长度、2e-5峰值学习率和0.1预热比例进行了50,000步增量训练。

性能对比结果如下（AVG为平均分）：

数据显示新版模型保持原有性能水平。部分任务微降源于：1) 有限增量训练步数；2) 某些下游任务对新词表和长序列不敏感，但受微调超参数影响显著。

• 使用新版模型时，请更新modeling_cpt.py并清除词汇缓存

模型描述

本实现为中文BART-Large版本

CPT：面向中文理解与生成的预训练非平衡Transformer

邵云帆、耿智超、刘一涛、戴俊琦、杨飞、李哲、鲍军瀚、邱锡鹏

项目地址: https://github.com/fastnlp/CPT

使用示例

>>> from transformers import BertTokenizer, BartForConditionalGeneration, Text2TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("fnlp/bart-large-chinese")
>>> model = BartForConditionalGeneration.from_pretrained("fnlp/bart-large-chinese")
>>> text2text_generator = Text2TextGenerationPipeline(model, tokenizer)  
>>> text2text_generator("北京是[MASK]的首都", max_length=50, do_sample=False)
    [{'generated_text': '北 京 是 中 华 人 民 共 和 国 的 首 都'}]

注意：请使用BertTokenizer加载词表，切勿使用原版BartTokenizer

引用文献

@article{shao2021cpt,
  title={CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation}, 
  author={Yunfan Shao and Zhichao Geng and Yitao Liu and Junqi Dai and Fei Yang and Li Zhe and Hujun Bao and Xipeng Qiu},
  journal={arXiv preprint arXiv:2109.05729},
  year={2021}
}