标签:

• 摘要生成 小部件:
• 文本: "select time ( col0 ) from tab0"

用于SQL源代码摘要生成的CodeTrans模型

该模型基于T5-large架构，针对编程语言SQL进行了预训练。首次发布于此代码库。该模型在分词的SQL代码函数上进行训练：与分词后的SQL函数配合使用时效果最佳。

模型描述

此CodeTrans模型基于t5-large模型，拥有独立的SentencePiece词汇模型。通过软件工程领域的7个无监督数据集进行迁移学习预训练，随后针对SQL代码片段摘要生成任务进行微调。

使用场景与限制

本模型可用于生成SQL函数描述，或针对其他SQL代码任务进行微调。支持未解析和未分词的SQL代码，但使用分词后的SQL代码性能更优。

使用方法

通过Transformers的SummarizationPipeline生成SQL函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_sql_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_sql_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code =  "select time ( col0 ) from tab0"
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

训练流程

迁移学习预训练

使用单个TPU Pod V3-8进行240,000步训练（序列长度512，批次大小4096）。模型共约2.2亿参数，采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

在单个TPU Pod V2-8上继续训练200步（序列长度512，批次大小256），仅使用包含SQL代码的数据集进行微调。

评估结果

不同模型在源代码摘要任务中各编程语言的BLEU得分表现：

测试结果：

由Ahmed Elnaggar | LinkedIn与Wei Ding | LinkedIn共同创建