语言: 英文
数据集:

• wikisql
  小部件示例:
• 文本: >-
  将英文翻译为SQL: 有多少模型是以BERT为基础模型进行微调的？
  许可证: apache-2.0

基于WikiSQL微调的T5-base模型

谷歌T5模型在WikiSQL数据集上微调，用于英文到SQL的翻译任务。

T5模型详情

T5模型由Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu在论文《探索文本到文本统一Transformer的迁移学习极限》中提出。以下是摘要：

迁移学习通过先在数据丰富的任务上预训练模型，再在下游任务上微调，已成为自然语言处理（NLP）中的强大技术。其有效性催生了多种方法、方法论和实践。本文通过引入将每个语言问题转换为文本到文本格式的统一框架，探索了NLP迁移学习技术的全景。我们的系统研究比较了数十种语言理解任务中的预训练目标、架构、无标签数据集、迁移方法等因素。结合探索中的洞见、规模效应及新构建的“Colossal Clean Crawled Corpus”数据集，我们在摘要生成、问答、文本分类等多个基准任务上取得了最先进的结果。为促进NLP迁移学习的未来研究，我们公开了数据集、预训练模型和代码。

数据集详情 📚

数据集ID: wikisql，源自Huggingface/NLP

通过nlp库加载方式:

train_dataset = nlp.load_dataset('wikisql', split=nlp.Split.TRAIN)  
valid_dataset = nlp.load_dataset('wikisql', split=nlp.Split.VALIDATION)  

更多数据集详情请访问NLP Viewer

模型微调过程 🏋️‍

训练脚本基于Suraj Patil创建的Colab Notebook稍作修改，荣誉归其所有！

模型实战演示 🚀

from transformers import AutoModelWithLMHead, AutoTokenizer  

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-base-finetuned-wikiSQL")  
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-base-finetuned-wikiSQL")  

def get_sql(query):  
    input_text = "将英文翻译为SQL: %s </s>" % query  
    features = tokenizer([input_text], return_tensors='pt')  

    output = model.generate(input_ids=features['input_ids'],   
                 attention_mask=features['attention_mask'])  

    return tokenizer.decode(output[0])  

query = "有多少模型是以BERT为基础模型进行微调的？"  

get_sql(query)  

# 输出: 'SELECT COUNT 微调模型 FROM 表 WHERE 基础模型 = BERT'  

验证集其他示例:

由Manuel Romero/@mrm8488创建 | 领英主页

西班牙制作，倾注❤️