language: zh tags:

• 表格问答 datasets:
• wikisql

ReasTAP

ReasTAP是EMNLP 2022论文《ReasTAP：通过合成推理示例在预训练中注入表格推理技能》提出的表格推理模型。原始Github仓库地址为https://github.com/Yale-LILY/ReasTAP。

模型说明

Yale-LILY/reastap-large-finetuned-wikisql基于Yale-LILY/reastap-large初始化，并在WikiSQL数据集上进行了微调。

使用示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import pandas as pd

tokenizer = AutoTokenizer.from_pretrained("Yale-LILY/reastap-large-finetuned-wikisql")
model = AutoModelForSeq2SeqLM.from_pretrained("Yale-LILY/reastap-large-finetuned-wikisql")

data = {
    "year": [1896, 1900, 1904, 2004, 2008, 2012],
    "city": ["athens", "paris", "st. louis", "athens", "beijing", "london"]
}
table = pd.DataFrame.from_dict(data)

query = "北京在哪一年举办了奥运会？"
encoding = tokenizer(table=table, query=query, return_tensors="pt")

outputs = model.generate(**encoding)

print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
# [' 2008']

参考文献

@inproceedings{zhao-etal-2022-reastap,
    title = "{R}eas{TAP}: 通过合成推理示例在预训练中注入表格推理技能",
    author = "赵一伦 和
      南林勇 和
      齐振廷 和
      张睿 和
      Radev, Dragomir",
    booktitle = "自然语言处理实证方法会议论文集",
    month = "12月",
    year = "2022",
    address = "阿联酋阿布扎比",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2022.emnlp-main.615",
    pages = "9006--9018",
    abstract = "对表格数据进行推理需要同时理解表格结构和掌握多种表格推理技能。当前采用表格专用架构和预训练方法的模型在理解表格结构方面表现良好，但在需要多样化表格推理技能的任务上仍存在困难。本研究开发的ReasTAP证明，无需复杂的表格专用架构设计，即可在预训练阶段将高级表格推理技能注入模型。我们定义了7种表格推理技能（如数值运算、时间比较和逻辑连接），每种技能对应一个示例生成器，该生成器会根据采样模板在半结构化表格上合成问题。我们将表格预训练任务建模为序列生成任务，通过预训练ReasTAP生成合成示例的精确答案。ReasTAP在涵盖三大下游任务的四个基准测试中接受评估：1) WikiSQL-Weak和WikiTQ的表格问答；2) TabFact的表格事实验证；3) LogicNLG的可靠表格到文本生成。实验结果表明，ReasTAP在所有任务上都达到了新的最先进水平，并在低资源环境下实现了显著提升。代码已开源：https://github.com/Yale-LILY/ReasTAP。",
}