语言: "英文" 标签:

• 琐事问答
• T5基础模型
• PyTorch
• 语言模型头部
• 问答系统
• 闭卷式
• T5
• 流程:问答 数据集:
• 琐事问答 演示组件:
• 文本: ["珠穆朗玛峰位于哪个山脉？","无"] 评估指标:
• 精确匹配率: 17
• 子集匹配率: 24.5

模型名称

闭卷式琐事问答T5基础模型

模型描述

这是一个基于T5-base架构、在无上下文琐事问答数据集上训练的模型。模型输入为琐事类问题，通过调优使其能够从记忆库中检索并返回答案。所采用的预训练模型基于Common Crawl（C4）数据集训练完成。训练参数设置为：135个训练周期，批次大小32，学习率1e-3，最大输入长度25，最大输出长度10。模型最终取得17分的精确匹配率和24.5分的子集匹配率。 我们撰写了详细记录训练过程的博客文章，请访问此处查阅。

可通过以下网站测试模型的琐事问答能力： https://www.triviaquestionss.com/easy-trivia-questions/ https://laffgaff.com/easy-trivia-questions-and-answers/

使用方式

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("deep-learning-analytics/triviaqa-t5-base")
model = AutoModelWithLMHead.from_pretrained("deep-learning-analytics/triviaqa-t5-base")

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = model.to(device)

text = "电影《大白鲨》的导演是谁？"

preprocess_text = text.strip().replace("\n","")
tokenized_text = tokenizer.encode(preprocess_text, return_tensors="pt").to(device)

outs = model.model.generate(
            tokenized_text,
            max_length=10,
            num_beams=2,
            early_stopping=True
           )

dec = [tokenizer.decode(ids) for ids in outs]
print("预测答案: ", dec)