语言:

• 中文

许可证: apache-2.0

标签:

• bert
• deberta

推理: true

示例:

• 文本: "桂林是世界闻名的旅游城市,它有[MASK]江。"

二郎神-DeBERTa-v2-320M-中文版

• 主页:封神榜
• GitHub: 封神榜-LM

简介

擅长处理自然语言理解任务，采用全词掩码技术的中文DeBERTa-v2-Large模型，参数量达3.2亿。

模型分类

模型信息

参考论文：《DeBERTa: 基于解耦注意力机制的增强型BERT解码器》

我们基于悟道语料库（180G版本）训练了中文DeBERTa-v2-large模型（3.2亿参数），在掩码语言建模中采用全词掩码策略。使用封神框架进行预训练，耗时约7天，使用8张A100（80G）显卡。

下游性能

以下为各任务开发集表现：

使用方式

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-320M-Chinese')
text = '桂林是世界闻名的旅游城市,它有[MASK]江。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=0)
print(fillmask_pipe(text, top_k=10))

引用文献

若使用本模型，请引用我们的论文：

@article{fengshenbang,
  author    = {张嘉旭等},
  title     = {封神榜1.0：中文认知智能基础体系},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

或引用项目主页：

@misc{封神榜-LM,
  title={封神榜-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}