标签:

• 摘要生成 小部件:
• 文本: '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( ) with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf : if line == " ; Include this text " : line = line + " Include below " out_file . write ( line ) '''

用于Python源代码摘要的CodeTrans模型

该预训练模型基于T5-large架构，专为编程语言Python设计。最初发布于此代码库。本模型针对分词后的Python代码函数进行训练：在处理经过分词的Python函数时表现最佳。

模型描述

此CodeTrans模型基于t5-large模型，拥有独立的SentencePiece词汇模型。通过多任务训练方式，在软件开发领域的13个监督任务和7个无监督数据集上进行训练，最终针对Python代码片段摘要生成任务进行微调。

使用场景与限制

该模型可用于生成Python函数描述，或针对其他Python代码任务进行微调。支持处理未解析和未分词的Python代码，但处理经过分词的代码时性能更优。

使用方法

以下是使用Transformers的SummarizationPipeline生成Python函数文档的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = '''with open ( CODE_STRING , CODE_STRING ) as in_file : buf = in_file . readlines ( )  with open ( CODE_STRING , CODE_STRING ) as out_file : for line in buf :          if line ==   " ; Include this text   " :              line = line +   " Include below  "          out_file . write ( line ) '''
pipeline([tokenized_code])

可通过Colab笔记本运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

训练流程

多任务预训练

模型在TPU Pod V3-8上进行了总计500,000步训练，使用512序列长度（批大小4096）。采用编码器-解码器架构，总参数量约2.2亿。预训练使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

随后在TPU Pod V2-8上进行了100步微调，使用512序列长度（批大小256），仅包含Python代码的数据集。

评估结果

不同模型在源代码摘要任务中各编程语言的BLEU评分表现：

测试结果：

由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建