事实核查

这款基于FEVER数据集训练的生成模型，旨在预测某项主张是否与提供的证据相符。

安装与简易使用

快速安装方式如下：

pip install fact_checking

随后可通过以下代码调用：

from transformers import (
    GPT2LMHeadModel,
    GPT2Tokenizer,
)

from fact_checking import FactChecker

_evidence = """
贾斯汀·坦娅·贝特曼（1966年2月19日出生）是美国作家、制片人和演员。她因在情景喜剧《亲情纽带》（1982-1989）中饰演马洛里·基顿而闻名。贝特曼曾经营一家名为SECTION 5的制作咨询公司，直至近期。2012年秋季，她开始在加州大学洛杉矶分校攻读计算机科学。
"""

_claim = '贾斯汀·贝特曼是诗人。'

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
fact_checking_model = GPT2LMHeadModel.from_pretrained('fractalego/fact-checking')
fact_checker = FactChecker(fact_checking_model, tokenizer)
is_claim_true = fact_checker.validate(_evidence, _claim)

print(is_claim_true)

运行后将输出：

False

概率化多副本输出

通过多次迭代生成结果，可输出包含概率成分的验证结果。系统会生成一组答案并按"是/否"分类统计。

例如执行：

from transformers import (
    GPT2LMHeadModel,
    GPT2Tokenizer,
)

from fact_checking import FactChecker

_evidence = """
简为Huggingface编写代码。
"""

_claim = '简是工程师。'

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
fact_checking_model = GPT2LMHeadModel.from_pretrained('fractalego/fact-checking')
fact_checker = FactChecker(fact_checking_model, tokenizer)
is_claim_true = fact_checker.validate_with_replicas(_evidence, _claim)

print(is_claim_true)

将得到概率化结果：

{'Y': 0.95, 'N': 0.05}

FEVER数据集表现

模型在FEVER开发集子集（仅含支持/反驳两类）上的评估结果：

需谨慎看待这些结果：当前仍为实验阶段，底层GPT2模型可能存在数据泄漏问题，可能导致分数虚高。