标签:

• 文本到文本生成
• 中文
• 序列到序列
• BART 语言: zh

中文BART基础版

新闻动态

2022年12月30日

我们发布了CPT与中文BART的升级版本。新版本主要进行了以下改进：

• 词汇表 采用从训练数据构建的51271词项新词表，替代原有BERT词表。具体措施包括：1) 补全6800+缺失汉字（多为繁体字）；2) 移除冗余标记（如带##前缀的中文字符）；3) 新增英文词项以减少未登录词。
• 位置编码 将最大位置编码长度从512扩展至1024。

新版模型通过词汇对齐方式继承旧版参数：旧词表对应的标记嵌入被完整保留，新增参数随机初始化。我们以2048批次大小、1024最大序列长度、2e-5峰值学习率和0.1预热比例，对新版模型进行了5万步增量训练。

性能对比结果如下（各任务分数为准确率/ROUGE-L）：

数据显示新版模型整体性能与旧版相当。部分任务微降源于：1) 有限增量训练步数未带来显著提升；2) 某些任务对新词项和长序列不敏感，但受微调超参数影响较大。

• 使用新版模型时，请更新modeling_cpt.py并清除缓存以加载新词表。

模型描述

本仓库实现中文BART基础版模型。

CPT：面向中文理解与生成的预训练非平衡Transformer

邵云帆、耿智超、刘一涛、戴俊琦、杨飞、李哲、鲍军瀚、邱锡鹏

项目地址: https://github.com/fastnlp/CPT

使用示例

>>> from transformers import BertTokenizer, BartForConditionalGeneration, Text2TextGenerationPipeline
>>> tokenizer = BertTokenizer.from_pretrained("fnlp/bart-base-chinese")
>>> model = BartForConditionalGeneration.from_pretrained("fnlp/bart-base-chinese")
>>> text2text_generator = Text2TextGenerationPipeline(model, tokenizer)  
>>> text2text_generator("北京是[MASK]的首都", max_length=50, do_sample=False)
    [{'generated_text': '北 京 是 中 国 的 首 都'}]

注意：请使用BertTokenizer加载词表，切勿使用原版BartTokenizer。

引用文献

@article{shao2021cpt,
  title={CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation}, 
  author={Yunfan Shao and Zhichao Geng and Yitao Liu and Junqi Dai and Fei Yang and Li Zhe and Hujun Bao and Xipeng Qiu},
  journal={arXiv preprint arXiv:2109.05729},
  year={2021}
}