标签:

• 摘要生成 小组件:
• 文本: '''用打开(代码字符串, 代码字符串)作为输入文件: buf = 输入文件.readlines() 用打开(代码字符串, 代码字符串)作为输出文件: 对于buf中的每一行: 如果行 == " ; 包含此文本 ": 行 = 行 + " 包含以下 " 输出文件.write(行) '''

用于Python源代码摘要的CodeTrans模型

基于t5-large架构的预训练模型，专注于编程语言Python。首次发布于此仓库。该模型针对分词后的Python代码函数进行优化，在分词后的Python函数上表现最佳。

模型描述

此CodeTrans模型基于t5-large模型，拥有独立的SentencePiece词汇模型。通过软件工程领域的7个无监督数据集进行迁移学习预训练，随后针对Python代码片段摘要生成任务进行微调。

使用场景与限制

本模型可用于生成Python函数描述，或针对其他Python代码任务进行微调。支持未解析和未分词的Python代码，但对分词后的代码表现更优。

使用方法

通过Transformers的SummarizationPipeline生成Python函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_python_transfer_learning_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = '''用打开(代码字符串, 代码字符串)作为输入文件: buf = 输入文件.readlines() 用打开(代码字符串, 代码字符串)作为输出文件: 对于buf中的每一行:          如果行 == " ; 包含此文本 ":              行 = 行 + " 包含以下 "          输出文件.write(行) '''
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

监督训练任务数据集可从链接下载。

训练流程

迁移学习预训练

在单台TPU Pod V3-8上完成24万步训练，序列长度512（批量大小4096）。模型采用编码器-解码器架构，总参数量约2.2亿，使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

随后在单台TPU Pod V2-8上进行100步微调，序列长度512（批量大小256），仅使用包含Python代码的数据集。

评估结果

不同模型在源代码摘要任务中各编程语言的BLEU得分表现：

测试结果：

由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建