语言:

• 英文

自然语言推理蕴涵验证器-超大模型

模型描述

nli-entailment-verifier-xxl 基于 flan-t5-xxl 模型 并采用排序目标进行微调（针对给定前提，从假设对中选出最受支持的假设）。更多细节请参阅我们的论文 机器更擅长复杂推理吗？揭示蕴涵验证中的人机推理差距。

该模型用于验证给定前提是否支持某个假设，适用于自然语言推理（NLI）风格的数据集和思维链（CoT）推理。此模型专门针对多句前提（类似于我们在CoT推理和其他现代大语言模型应用场景中的预期）进行了训练。

注意：您可以使用4位/8位量化来减少GPU内存使用。

使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

def 获取分数(模型, 分词器, 输入ID):
    正ID = 分词器('是').input_ids[0]
    负ID = 分词器('否').input_ids[0]
    
    逻辑输出 = 模型(输入ID, decoder_input_ids=torch.zeros((输入ID.size(0), 1), dtype=torch.long)).logits
    正逻辑 = 逻辑输出[:, 0, 正ID]
    负逻辑 = 逻辑输出[:, 0, 负ID]
    正负逻辑 = torch.cat([正逻辑.unsqueeze(-1), 负逻辑.unsqueeze(-1)], dim=1)
    分数 = torch.nn.functional.softmax(正负逻辑, dim=1)[:, 0]
    return 分数

分词器 = AutoTokenizer.from_pretrained('google/flan-t5-xxl')
模型 = AutoModelForSeq2SeqLM.from_pretrained('soumyasanyal/nli-entailment-verifier-xxl')

前提 = "化石燃料是一种自然资源。煤是一种化石燃料。"
假设 = "煤是一种自然资源。"
提示 = f"前提: {前提}\n假设: {假设}\n根据前提，假设是否正确？\n回答:"

输入ID = 分词器(提示, return_tensors='pt').input_ids

分数 = 获取分数(模型, 分词器, 输入ID)
print(f'假设蕴涵前提: {bool(分数 >= 0.5)}')

['假设蕴涵前提: 错误']