标签:

• 填充掩码
• 文本生成
• 文本分类
• 摘要生成
• 中文
• CPT
• BART
• BERT
• 序列到序列

语言: zh

中文CPT-Large大模型

动态更新

2022年12月30日

我们发布了CPT与中文BART的升级版本，主要更新如下：

• 词表优化 采用基于训练数据构建的51271大小新词表：1) 补全6800+缺失汉字（多为繁体字）；2) 移除冗余标记（如带##前缀的中文字符）；3) 新增英文token降低未登录词率
• 位置编码扩展 最大位置嵌入从512扩展到1024

新模型通过词汇对齐方式初始化：旧版词向量被直接迁移，新增参数随机初始化。我们以2048批大小、1024最大序列长度、2e-5峰值学习率和10%预热比例，对模型进行了5万步增量训练。

性能对比数据如下：

新版模型保持了原有性能水平，部分任务微降源于：1) 有限增量训练步数；2) 某些任务对新词表和长序列不敏感但对微调超参数敏感。

• 使用新版模型时，请更新modeling_cpt.py架构文件并刷新词表缓存

模型架构

本实现为CPT-Large大模型。使用前需导入modeling_cpt.py架构文件。

CPT：面向中文理解与生成的预训练非平衡Transformer

邵云帆、耿志超、刘一韬、戴俊琦、杨飞、李喆、鲍虎军、邱锡鹏

代码仓库: https://github.com/fastnlp/CPT

使用示例

>>> from modeling_cpt import CPTForConditionalGeneration
>>> from transformers import BertTokenizer
>>> tokenizer = BertTokenizer.from_pretrained("fnlp/cpt-large")
>>> model = CPTForConditionalGeneration.from_pretrained("fnlp/cpt-large")
>>> input_ids = tokenizer.encode("北京是[MASK]的首都", return_tensors='pt')
>>> pred_ids = model.generate(input_ids, num_beams=4, max_length=20)
>>> print(tokenizer.convert_ids_to_tokens(pred_ids[0]))
    ['[SEP]', '[CLS]', '北', '京', '是', '中', '国', '的', '首', '都', '[SEP]']

注意：请使用BertTokenizer加载词表，切勿使用原版BartTokenizer

引用文献

@article{shao2021cpt,
  title={CPT: 面向中文理解与生成的预训练非平衡Transformer}, 
  author={邵云帆 and 耿志超 and 刘一韬 and 戴俊琦 and 杨飞 and 李喆 and 鲍虎军 and 邱锡鹏},
  journal={arXiv预印本 arXiv:2109.05729},
  year={2021}
}