language:

• zh license: apache-2.0

inference: false

燃灯-巨量T5-770M模型

• 主页:封神榜
• GitHub仓库: 封神榜大模型

模型简介

擅长处理自然语言转换任务的中文版T5-large模型。

模型分类

技术细节

为构建大规模中文T5模型，我们采用Megatron-LM框架并结合悟道语料库（180GB版本）进行预训练。具体训练过程中，使用16张A100显卡耗时约14天完成预训练。

使用指南

由于该模型结构未集成至transformers库，用户需通过封神榜大模型项目获取相关代码。

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM.git

模型加载

from fengshen import T5ForConditionalGeneration
from fengshen import T5Config
from fengshen import T5Tokenizer

tokenizer = T5Tokenizer.from_pretrained('IDEA-CCNL/Randeng-MegatronT5-770M')
config = T5Config.from_pretrained('IDEA-CCNL/Randeng-MegatronT5-770M')
model = T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-MegatronT5-770M')

引用规范

若使用本模型，请引用我们的研究论文：

@article{fengshenbang,
  author    = {张嘉旭等},
  title     = {封神榜1.0：中文认知智能基础体系},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

亦可引用项目主页：

@misc{Fengshenbang-LM,
  title={封神榜大模型},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}