license: apache-2.0
language: zh
tags:

• 文本到文本生成
• T5
• 中文
• 句子片段
  inference: true
  widget:
• text: "新闻分类任务：【微软披露拓扑量子计算机计划！】这篇文章的类别是什么？故事/文化/娱乐/体育/财经/房产/汽车/教育/科技"
• type: "文本生成"

燃灯-T5-784M-多任务-中文版

• 主页：封神榜
• GitHub: 封神榜-LM

简介

基于Randeng-T5-784M模型，我们收集了约100个中文数据集，采用Text2Text统一范式进行有监督任务预训练。

该模型在中文零样本基准测试ZeroClue中位列第三（排除人类成绩），并在所有基于T5（编码器-解码器架构）的模型中排名第一。

模型分类

模型信息

参考论文：探索迁移学习的极限：统一文本到文本转换器

基于Randeng-T5-784M，我们在100+个中文多任务数据集（采样30万+样本）上微调，涵盖：情感分析、新闻分类、文本分类、意图识别、自然语言推理、多项选择、指代消解、抽取式阅读理解、实体识别、关键词抽取、生成式摘要等任务。

使用方式

import torch  
from transformers import T5Tokenizer, T5Config, T5ForConditionalGeneration  

# 加载模型  
pretrained_model = "IDEA-CCNL/Randeng-T5-784M-MultiTask-Chinese"  

special_tokens = ["<extra_id_{}>".format(i) for i in range(100)]  
tokenizer = T5Tokenizer.from_pretrained(  
    pretrained_model,  
    do_lower_case=True,  
    max_length=512,  
    truncation=True,  
    additional_special_tokens=special_tokens,  
)  
model = T5ForConditionalGeneration.from_pretrained(pretrained_model)  
model.eval()  

# 示例：新闻分类  
text = "新闻分类任务：【微软披露拓扑量子计算机计划！】这篇文章的类别是什么？故事/文化/娱乐/体育/财经/房产/汽车/教育/科技"  
inputs = tokenizer(text, return_tensors="pt", max_length=512, truncation=True)  
outputs = model.generate(**inputs, max_length=100)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True))  # 输出：科技  

预训练与微调

如需预训练或下游任务微调，请参考封神榜-LM项目：

• 预训练脚本
• 摘要微调示例

引用

若使用本模型，请引用：

@article{fengshenbang,  
  title={封神榜1.0：中文认知智能基石},  
  author={张嘉旭等},  
  journal={CoRR},  
  year={2022}  
}  

或项目仓库：

@misc{Fengshenbang-LM,  
  title={封神榜-LM},  
  author={IDEA-CCNL},  
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},  
}