初始标签:

• 填充掩码
• 文本生成
• 文本分类
• 摘要生成
• 中文处理
• CPT模型
• BART模型
• BERT模型
• 序列到序列

语言: zh

中文CPT基础版

动态更新

2022年12月30日

我们发布了CPT与中文BART的升级版本。本次更新主要包含以下改进：

• 词表优化 采用基于训练数据构建的51271词项新词表：1) 补全6800+缺失汉字（多为繁体字）；2) 移除冗余标记（如带##前缀的中文字符）；3) 新增英文词项以降低未登录词比例
• 位置编码扩展 将最大位置编码长度从512提升至1024

通过词汇对齐技术，我们在旧版检查点基础上初始化新模型：复制既有词项嵌入，随机初始化新增参数。随后以2048批次大小、1024最大序列长度、2e-5峰值学习率和0.1预热比例，对模型进行了5万步增量训练。

性能对比数据如下：

实验表明新版模型保持了原有性能水平。部分任务表现微降源于：1) 有限增量训练未带来显著提升；2) 某些下游任务对新词项和长序列不敏感，但受微调超参数影响较大。

• 使用新版模型时，请更新建模文件并刷新词表缓存

模型架构

本实现为CPT基础版。使用前需导入建模文件至项目。

CPT：面向中文理解与生成任务的非对称预训练Transformer

邵云帆、耿志超、刘一涛、戴俊琦、杨飞、李哲、鲍虎军、邱锡鹏

代码仓库: https://github.com/fastnlp/CPT

使用示例

>>> from modeling_cpt import CPTForConditionalGeneration
>>> from transformers import BertTokenizer
>>> tokenizer = BertTokenizer.from_pretrained("fnlp/cpt-base")
>>> model = CPTForConditionalGeneration.from_pretrained("fnlp/cpt-base")
>>> inputs = tokenizer.encode("北京是[MASK]的首都", return_tensors='pt')
>>> pred_ids = model.generate(input_ids, num_beams=4, max_length=20)
>>> print(tokenizer.convert_ids_to_tokens(pred_ids[i]))
    ['[SEP]', '[CLS]', '北', '京', '是', '中', '国', '的', '首', '都', '[SEP]']

注意：请使用BertTokenizer加载词表，切勿使用原版BartTokenizer

引用规范

@article{shao2021cpt,
  title={CPT：面向中文理解与生成任务的非对称预训练Transformer}, 
  author={邵云帆 and 耿志超 and 刘一涛 and 戴俊琦 and 杨飞 and 李哲 and 鲍虎军 and 邱锡鹏},
  journal={arXiv预印本 arXiv:2109.05729},
  year={2021}
}