标签:

• 摘要生成 小部件:
• 文本: "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot }"

用于Go代码文档生成的CodeTrans模型

该模型基于Go编程语言的T5-small架构预训练，最初发布于此代码库。该模型针对经过分词的Go代码函数进行训练，在分词后的Go函数上表现最佳。

模型描述

本CodeTrans模型基于t5-small架构，拥有独立的SentencePiece词汇模型。通过多任务训练方式，在软件开发领域的13个有监督任务和7个无监督数据集上进行训练，最终针对Go函数/方法的代码文档生成任务进行微调。

使用场景与限制

该模型可用于生成Go函数描述，或针对其他Go代码任务进行微调。支持未经解析和分词的Go代码，但对分词后的代码表现更优。

使用方法

通过Transformers的SummarizationPipeline生成Go函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot   }"
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

有监督训练数据集可从链接下载。

训练流程

多任务预训练

使用TPU Pod V3-8单节点训练50万步，序列长度512（批次大小4096）。该模型共2.2亿参数，采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

在TPU Pod V2-8单节点上微调2000步，序列长度512（批次大小256），仅使用包含Go代码的数据集。

评估结果

各模型在不同编程语言的代码文档生成任务中的BLEU得分：

测试结果：

由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建