中文预训练Longformer模型 | 基于PyTorch的Longformer_ZH

相较于Transformer的O(n^2)复杂度，Longformer能以线性复杂度处理最长4096字符的文档序列。其注意力机制融合了局部窗口注意力与任务导向的全局注意力，可完美替代标准自注意力模块。

我们针对中文长文本任务资源匮乏的现状，开源了预训练的中文Longformer模型参数，配套提供模型加载方案与完整预训练脚本。

模型获取方式

支持通过以下途径获取模型：

• 谷歌云盘：https://drive.google.com/file/d/1IDJ4aVTfSFUQLIqCYBtoRpnfbgHPoxB4/view?usp=sharing
• 百度网盘：https://pan.baidu.com/s/1HaVDENx52I7ryPFpnQmq1w 提取码：y601

亦可通过HuggingFace自动加载：

from Longformer_zh import LongformerZhForMaksedLM
LongformerZhForMaksedLM.from_pretrained('ValkyriaLenneth/longformer_zh')

重要说明

• 请直接使用transformers.LongformerModel.from_pretrained加载模型
• 以下为历史遗留说明（可忽略）：
  • 中文版基于Roberta_zh架构（继承自BertModel而非RobertaModel）
  • 我们提供了修改后的Longformer_zh.py实现文件
  • 如需迁移至其他任务，请参照该文件替换注意力层

预训练细节

• 语料来源：brightmart中文语料库，混合四种语料类型
• 基座模型：Roberta_zh_mid，转换脚本改编自AllenAI官方实现
• 创新点：
  • 引入全词掩码(WWM)机制适配中文特性
  • 据查为首个开源的PyTorch版中文WWM实现
• 训练配置：
  • 最大序列长度4096
  • 4张Titan RTX训练约4天（3000步）
  • 采用Nvidia Apex混合精度加速
• 预处理：Jieba分词 + JIONLP数据清洗

性能评估

CCF情感分析

预训练指标

中文阅读理解(CMRC)

指代消解任务

致谢

特别鸣谢东京工业大学奥村·船越研究室提供的计算资源支持。