标签:

• 摘要生成 小组件:
• 文本: '''以打开(代码字符串, 代码字符串)作为输入文件: 缓冲区 = 输入文件.读取行() 以打开(代码字符串, 代码字符串)作为输出文件: 对于缓冲区中的每一行: 如果行 == " ; 包含此文本 " : 行 = 行 + " 包含下方 " 输出文件.写入( 行 ) '''

用于Python源代码摘要的CodeTrans模型

该模型是基于T5小型架构、针对Python编程语言进行预训练的模型。最初发布于此代码库。该模型在分词的Python代码函数上进行训练：与分词后的Python函数配合使用时效果最佳。

模型描述

此CodeTrans模型基于t5-small模型，拥有独立的SentencePiece词汇模型。它采用多任务训练方式，覆盖了软件开发领域的13个有监督任务和7个无监督数据集，并最终针对Python代码片段摘要生成任务进行了微调。

使用场景与限制

该模型可用于生成Python函数的功能描述，或针对其他Python代码任务进行微调。支持直接处理未解析和未分词的Python代码，但若代码经过分词处理，模型表现会更优。

使用方法

以下示例展示如何通过Transformers的SummarizationPipeline使用本模型生成Python函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_source_code_summarization_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = '''以打开(代码字符串, 代码字符串)作为输入文件: 缓冲区 = 输入文件.读取行() 以打开(代码字符串, 代码字符串)作为输出文件: 对于缓冲区中的每一行:          如果行 ==   " ; 包含此文本   " :              行 = 行 +   " 包含下方  "          输出文件.写入( 行 ) '''
pipeline([tokenized_code])

可通过Colab笔记本运行此示例。

训练数据

有监督训练任务数据集可从此链接下载。

训练流程

多任务预训练

模型在单个TPU Pod V3-8上完成总计500,000步训练，采用512序列长度（批大小4096）。该模型总参数量约2.2亿，基于编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

微调阶段

随后在单个TPU Pod V2-8上进行600步微调，保持512序列长度（批大小256），仅使用包含Python代码的数据集。

评估结果

在源代码摘要任务中，不同模型针对各编程语言的BLEU评分表现如下：

测试结果：

由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建