标签:

• 摘要生成 小组件:
• 文本: "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"

用于Java代码文档生成的CodeTrans模型

该预训练模型基于T5大型架构，专注于Java编程语言，最初发布于此代码库。模型针对分词后的Java函数进行优化，在分词后的Java代码上表现最佳。

模型说明

本CodeTrans模型基于t5-large架构，拥有独立的SentencePiece词汇表。通过软件工程领域的13项有监督任务和7个无监督数据集进行多任务预训练，最终针对Java函数/方法的注释生成任务进行微调。

使用场景与限制

可用于生成Java函数描述，或适配其他Java代码任务。支持未解析和未分词的原始代码，但使用分词后的代码能获得更优性能。

使用方法

通过Transformers的SummarizationPipeline生成Java函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_comment_generation_java_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "protected String renderUri ( URI uri ) { return uri . toASCIIString ( ) ; }"
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

有监督训练数据集可从此链接下载。

训练流程

多任务预训练

在TPU Pod V3-8上完成26万步训练，使用512序列长度（批次大小4096）。模型采用编码器-解码器架构，参数量约2.2亿，使用AdaFactor优化器配合平方根倒数学习率调度。

微调阶段

在相同硬件上追加2.5万步微调，保持512序列长度（批次大小256），仅使用Java代码数据集。

评估结果

各模型在不同编程语言的代码文档生成任务中的BLEU得分表现：

由Ahmed Elnaggar | 领英和丁伟 | 领英创建