标签:

• 摘要生成 小组件:
• 文本: "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"

用于Java代码注释生成的CodeTrans模型

该模型基于T5基础架构，针对编程语言Java进行预训练。最初发布于此代码库。该模型在经过分词的Java代码函数上进行训练：对分词后的Java函数处理效果最佳。

模型描述

此CodeTrans模型基于t5-base模型，拥有独立的SentencePiece词汇模型。它采用多任务训练方式，在软件开发领域的13个有监督任务和7个无监督数据集上进行训练，随后针对Java函数/方法的代码注释生成任务进行微调。

使用场景与限制

该模型可用于生成Java函数的描述文本，或针对其他Java代码任务进行微调。支持处理未解析和未分词的Java代码，但若输入经过分词的Java代码，性能表现会更优。

使用方法

以下展示如何使用Transformers的SummarizationPipeline生成Java函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_comment_generation_java_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_comment_generation_java_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

可通过Colab笔记本运行此示例。

训练数据

有监督训练任务数据集可从此链接下载。

训练流程

多任务预训练

模型在TPU Pod V3-8上完成总计260,000步训练，使用512的序列长度（批次大小4096）。该模型约含2.2亿参数，采用编码器-解码器架构，使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

微调阶段

随后在TPU Pod V2-8上针对纯Java代码数据集进行60,000步微调，序列长度保持512（批次大小256）。

评估结果

在代码文档生成任务中，不同模型在各编程语言上的BLEU评分表现如下：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英创建