许可协议: apache-2.0
语言: 中文

标签:

• T5
• 中文
• sentencepiece

推理: 支持

示例输入:

• 文本: "北京有悠久的 <extra_id_0>和 <extra_id_1>。"
• 类型: "文本生成"

燃灯-T5-77M

• 主页: 封神榜
• GitHub: 封神榜大模型

简介

擅长处理自然语言转换任务，中文版mT5-small轻量级模型。

模型分类

模型详情

本模型基于mT5-small架构进行中文适配训练。为提升训练效率，我们仅保留T5分词器(sentence piece)中英双语词表，并采用语料库自适应预训练技术(CAPT)在180GB悟道语料库上进行增量训练，预训练目标为文本片段重构。通过封神框架实现，使用8块A100显卡耗时约24小时完成训练。

使用方式

from transformers import T5ForConditionalGeneration, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained('IDEA-CCNL/Randeng-T5-77M', use_fast=False)
model = T5ForConditionalGeneration.from_pretrained('IDEA-CCNL/Randeng-T5-77M')

引用规范

若使用本模型，请引用我们的研究论文：

@article{fengshenbang,
  author    = {贾兴星等35位作者},
  title     = {封神榜1.0：中文认知智能基础体系},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

或引用项目主页：

@misc{封神榜大模型,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}