基于WikiSQL微调的T5-small模型

谷歌T5的small版本在WikiSQL数据集上进行了微调，用于实现英语到SQL的翻译功能。

T5模型详情

T5模型由Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu在论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》中提出。以下是论文摘要：

迁移学习作为一种强大的自然语言处理技术，首先在数据丰富的任务上进行预训练，然后在下游任务上进行微调。迁移学习的有效性催生了多种方法、方法论和实践。本文通过引入一个将每个语言问题转换为文本到文本格式的统一框架，探索了NLP迁移学习技术的全景。我们的系统研究比较了数十种语言理解任务中的预训练目标、架构、未标记数据集、迁移方法等因素。通过将探索的见解与规模和我们新的"Colossal Clean Crawled Corpus"相结合，我们在涵盖摘要、问答、文本分类等多个基准测试中取得了最先进的结果。为了促进NLP迁移学习的未来工作，我们发布了数据集、预训练模型和代码。

数据集详情 📚

数据集ID：来自Huggingface/NLP的wikisql

如何从nlp加载：

train_dataset  = nlp.load_dataset('wikisql', split=nlp.Split.TRAIN)
valid_dataset = nlp.load_dataset('wikisql', split=nlp.Split.VALIDATION)

在NLP Viewer中查看更多关于此数据集和其他数据集的信息。

模型微调 🏋️‍

训练脚本是基于Suraj Patil创建的这个Colab Notebook稍作修改的版本，所有功劳归于他！

模型实战 🚀

from transformers import AutoModelWithLMHead, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-small-finetuned-wikiSQL")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-small-finetuned-wikiSQL")

def get_sql(query):
  input_text = "将英语翻译为SQL: %s </s>" % query
  features = tokenizer([input_text], return_tensors='pt')

  output = model.generate(input_ids=features['input_ids'], 
               attention_mask=features['attention_mask'])
  
  return tokenizer.decode(output[0])

query = "HF-hub中有多少百万参数?"

get_sql(query)

# 输出: 'SELECT COUNT Params FROM table WHERE Location = HF-hub'

由Manuel Romero/@mrm8488创建 | LinkedIn

西班牙制造，倾注❤️打造