语言:

• 中文

许可证: apache-2.0

标签:

• DeBERTa

推理: true

示例:

• 文本: "生活的真谛是[MASK]。"

二郎神-DeBERTa-v2-97M-中文版

• 主页:封神榜官网
• GitHub仓库: 封神榜大模型

模型简介

擅长处理自然语言理解任务，采用全词掩码技术的中文版DeBERTa-v2基础模型，参数量9700万。

模型分类

技术细节

核心论文：DeBERTa: 基于解耦注意力机制的增强型BERT模型

为构建中文版DeBERTa-v2基础模型（9700万参数），我们采用180G版本的悟道语料库进行预训练，并在掩码语言建模中应用全词掩码技术。通过封神框架进行训练，使用24张A100显卡耗时约7天完成。

任务表现

以下为开发集上的性能指标：

使用示例

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese', use_fast=False)
model=AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=7)
print(fillmask_pipe(text, top_k=10))

引用规范

若使用本模型，请引用以下论文：

@article{fengshenbang,
  author    = {张嘉旭等},
  title     = {封神榜1.0：中文认知智能基础体系},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

或引用项目主页：

@misc{Fengshenbang-LM,
  title={封神榜大模型},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}