🚀 🤖PromptCLUE：全中文任务零样本学习模型

PromptCLUE是一个全中文任务零样本学习模型，基于1000亿token中文语料预训练，累计学习1.5万亿中文token，还在数百种任务上进行了Prompt任务式训练。它能自定义理解类任务的标签体系，也可进行多种生成任务的自由采样生成。

🚀 快速开始

加载模型

# 加载模型
from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer = T5Tokenizer.from_pretrained("ClueAI/PromptCLUE-base")
model = T5ForConditionalGeneration.from_pretrained("ClueAI/PromptCLUE-base")

使用模型进行预测推理

import torch
#device = torch.device('cpu')
device = torch.device('cuda')
model.to(device)
def preprocess(text):
  return text.replace("\n", "_")

def postprocess(text):
  return text.replace("_", "\n")

def answer(text, sample=False, top_p=0.8):
  '''sample：是否抽样。生成任务，可以设置为True;
  top_p：0-1之间，生成的内容越多样'''
  text = preprocess(text)
  encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=768, return_tensors="pt").to(device) 
  if not sample:
    out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=128, num_beams=4, length_penalty=0.6)
  else:
    out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=64, do_sample=True, top_p=top_p)
  out_text = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
  return postprocess(out_text[0])

✨ 主要特性

• 基于大规模中文语料预训练，学习丰富的中文语义信息。
• 支持多种任务类型，包括理解类任务（如分类、情感分析、抽取等）和生成类任务。
• 可自定义理解类任务的标签体系，灵活适应不同场景。
• 支持生成任务的自由采样生成，生成内容多样。

💻 使用示例

基础用法

新闻分类(classify)

Input:
分类任务：
折价率过低遭抛售基金泰和跌7.15%，证券时报记者 朱景锋本报讯 由于折价率在大盘封基中处于最低水平，基金泰和昨日遭到投资者大举抛售，跌幅达到7.15%，远超大盘。盘面显示，基金泰和随大盘高开，之后开始震荡走低，午后开始加速下行，几乎没有像样反弹。截至收盘时，在沪深300指数仅下跌2.56%的情况下，基金泰和收盘跌幅高达7.15%，在所有封基中跌幅最大，而昨日多数封基跌幅在2%左右。
选项：财经，娱乐，时政，股票
答案：

Model output:
财经

高级用法

问题生成(generate)

Input:
问题生成：
中新网2022年9月22日电 22日，商务部召开例行新闻发布会，商务部新闻发言人束珏婷表示，今年1-8月，中国实际使用外资1384亿美元，增长20.2%；其中，欧盟对华投资增长123.7%(含通过自由港投资数据)。这充分表明，包括欧盟在内的外国投资者持续看好中国市场，希望继续深化对华投资合作。
答案：

Model output:
1、商务部发言人束珏婷表示，中国去年1-8月实际使用外资1384亿美元,增长20.2%，其中欧盟对华投资增长多少？
2、欧盟对华投资的增长是否达到预期？
3、欧盟在对华投资合作方面取得什么样的成果？

📚 详细文档

更多示例功能和模型见ClueAI。你还可以通过以下链接进行更多操作：

• 在线Demo
• 使用clueai工具包和API(large版)
• Colab试用

📄 许可证

本项目采用creativeml-openrail-m许可证。