标签:

• 文本摘要 小部件:
• 文本: "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"

用于Python代码文档生成的CodeTrans模型

该模型是基于T5基础架构、针对Python编程语言进行预训练的代码文档生成模型。首次发布于此代码库。本模型在分词后的Python代码函数上进行训练，对经过分词的Python函数处理效果最佳。

模型描述

此CodeTrans模型基于t5-base模型构建，拥有独立的SentencePiece词汇表。通过软件工程领域的13项有监督任务和7个无监督数据集进行多任务训练，最终针对Python函数/方法的代码文档生成任务进行微调。

使用场景与限制

该模型可用于生成Python函数的描述文档，也可针对其他Python代码任务进行微调。支持处理未解析和未分词的Python代码，但对分词后的代码表现更优。

使用方法

以下展示如何使用Transformers的SummarizationPipeline生成Python函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

可通过Colab笔记本运行此示例。

训练数据

有监督训练任务数据集可从此链接下载。

训练流程

多任务预训练

模型在TPU Pod V3-8上训练50万步，使用512序列长度（批次大小4096）。总参数量约2.2亿，采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

随后在TPU Pod V2-8上进行4000步微调，序列长度512（批次大小256），仅使用包含Python代码的数据集。

评估结果

各模型在不同编程语言的代码文档生成任务中的BLEU评分表现：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英创建