许可证：apache-2.0
语言：

• 英语
  任务标签：摘要生成
  小部件示例：
  • 文本："双不变度量的谱隔离是什么？"
    示例标题：问答
    标签：
• arxiv

目录

0. 简介
1. 模型详情
2. 使用方法
3. 用途
4. 引用

简介

这是一个基于ArtifactAI/arxiv-math-instruct-50k训练的FLAN-T5模型。该模型仅供研究使用，不应用于生产环境，其输出结果极不可靠。

模型详情

模型描述

• 模型类型： 语言模型
• 支持语言（NLP）： 英语
• 许可证： Apache 2.0
• 相关模型： 所有FLAN-T5检查点

使用方法

以下是使用transformers库调用模型的示例脚本：

使用PyTorch模型

在CPU上运行模型

from transformers import T5Tokenizer, T5ForConditionalGeneration  

tokenizer = T5Tokenizer.from_pretrained("ArtifactAI/flan-t5-base-arxiv-math-question-answering")  
model = T5ForConditionalGeneration.from_pretrained("ArtifactAI/flan-t5-base-arxiv-math-question-answering")  

input_text = "双不变度量的谱隔离是什么？"  
input_ids = tokenizer(input_text, return_tensors="pt").input_ids  

outputs = model.generate(input_ids)  
print(tokenizer.decode(outputs[0]))  

在GPU上运行模型

# 安装accelerate库：pip install accelerate  
from transformers import T5Tokenizer, T5ForConditionalGeneration  

tokenizer = T5Tokenizer.from_pretrained("ArtifactAI/flan-t5-base-arxiv-math-question-answering")  
model = T5ForConditionalGeneration.from_pretrained("ArtifactAI/flan-t5-base-arxiv-math-question-answering", device_map="auto")  

input_text = "双不变度量的谱隔离是什么？"  
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")  

outputs = model.generate(input_ids)  
print(tokenizer.decode(outputs[0]))  

使用Hugging Face流水线运行模型

FP16精度

# 通过流水线从Hugging Face Hub加载模型和分词器  
qa = pipeline("summarization", model="ArtifactAI/flan-t5-base-arxiv-math-question-answering")  

query = "双不变度量的谱隔离是什么？"  
print(f"问题：{query}")  
res = qa("答案：" + query)  

print(f"{res[0]['summary_text']}")  

训练详情

训练数据

模型基于ArtifactAI/arxiv-math-instruct-50k数据集训练，该数据集包含问答对。问题由t5-base模型生成，答案由GPT-3.5-turbo模型生成。

引用

@misc{flan-t5-base-arxiv-math-question-answering,  
    title={flan-t5-base-arxiv-math-question-answering},  
    author={Matthew Kenney},  
    year={2023}  
}