标签:

• 摘要生成 小部件:
• 文本: '''以CODE_STRING为路径，CODE_STRING为模式打开文件作为输入文件：buf = 输入文件.readlines()。以CODE_STRING为路径，CODE_STRING为模式打开文件作为输出文件：对于buf中的每一行：如果该行等于" ; Include this text "，则该行内容追加" Include below "。输出文件.write(该行)'''

源代码摘要生成Python版CodeTrans模型

该预训练模型基于T5基础架构，专为Python编程语言设计，最初发布于此代码库。模型在经分词的Python代码函数上训练，对分词后的Python函数处理效果最佳。

模型描述

本CodeTrans模型基于t5-base模型，拥有独立的SentencePiece词汇模型。通过多任务训练框架，在软件开发领域的13个监督任务和7个无监督数据集上进行训练。

使用场景与限制

可用于生成Python函数的功能描述，或针对其他Python代码任务进行微调。支持处理未解析和未分词的原始代码，但经分词的代码会获得更优性能。

使用方法

通过Transformers的SummarizationPipeline生成Python函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_source_code_summarization_python_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = '''以CODE_STRING为路径，CODE_STRING为模式打开文件作为输入文件：buf = 输入文件.readlines()。以CODE_STRING为路径，CODE_STRING为模式打开文件作为输出文件：对于buf中的每一行：如果该行等于" ; Include this text   "，则该行内容追加" Include below "。输出文件.write(该行)'''
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

训练流程

多任务预训练

模型在TPU Pod V3-8上完成总计260,000步训练，采用512序列长度（批大小4096）。该编码器-解码器架构模型共约2.2亿参数，使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

评估结果

不同模型在源代码摘要生成任务中各编程语言的BLEU得分表现：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英创建