标签:

• 摘要生成 小部件:
• 文本: "public static < T , U > Function < T , U > castFunction ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"

用于Java代码文档生成的CodeTrans模型

基于T5大型模型架构的Java编程语言预训练模型。首次发布于此代码库。该模型针对分词后的Java代码函数进行训练：在已分词的Java函数上表现最佳。

模型描述

此CodeTrans模型基于t5-large模型构建，拥有独立的SentencePiece词汇表模型。采用多任务训练方式，涵盖软件开发领域的13个有监督任务和7个无监督数据集。

使用场景与限制

该模型可用于生成Java函数描述，或针对其他Java代码任务进行微调。支持未解析和未分词的Java代码，但对已分词的Java代码表现更优。

使用方法

通过Transformers的SummarizationPipeline生成Java函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_code_documentation_generation_java_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static < T , U > Function < T , U > castFunction  ( Class < U > target ) { return new CastToClass < T , U > ( target ) ; }"
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

有监督训练任务数据集可从链接下载。

训练流程

多任务预训练

使用TPU Pod V3-8单机进行180,000步训练，序列长度512（批次大小4096）。模型总参数量约2.2亿，采用编码器-解码器架构，优化器为AdaFactor并配合逆平方根学习率调度。

评估结果

各模型在不同编程语言的代码文档任务中的BLEU得分：

测试结果：

由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建