语言:

• 中文 标签:
• glm
• thudm

GLM是一种通用语言模型，采用自回归空白填充目标进行预训练，可针对多种自然语言理解与生成任务进行微调。

关于GLM的详细说明，请参阅我们的论文：

GLM: 基于自回归空白填充的通用语言模型预训练（ACL 2022）

杜正笑*，钱宇杰*，刘骁，丁铭，邱杰中，杨植麟，唐杰（*：共同第一作者）

更多示例请访问我们的Github代码库。

模型描述

glm-2b模型基于Pile数据集预训练。该模型包含36层Transformer结构，每层隐藏层维度为4096，配备64个注意力头。模型采用专为自然语言理解、序列到序列任务及语言建模设计的自回归空白填充目标进行预训练。详见我们的代码库。

使用指南

具体使用方法请参考Github代码库中的说明文档。

我们针对不同任务使用三种掩码标记：短文本填空使用[MASK]，句子级填空使用[sMASK]，从左至右生成任务使用[gMASK]。不同掩码的使用示例可参见此处。预测结果始终以特殊标记<|startofpiece|>开头，以<|endofpiece|>结尾。

引用

如果本代码对您的研究有所帮助，请引用我们的论文：

@article{DBLP:conf/acl/DuQLDQY022,
  作者    = {杜正笑 and 钱宇杰 and 刘骁 and 丁铭 and 邱杰中 and 杨植麟 and 唐杰},
  标题    = {{GLM:} 基于自回归空白填充的通用语言模型预训练},
  会议名称 = {第60届国际计算语言学协会年会论文集（长论文卷）},
  页码范围 = {320--335},
  出版社  = {国际计算语言学协会},
  年份    = {2022},
}