标签:

• 摘要生成 小部件:
• 文本: "public static DateTime ParseUnixDateTime ( double unixTime ) { var dt = new DateTime ( CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , System . DateTimeKind . Utc ) ; dt = dt . AddSeconds ( unixTimeStamp ) . ToLocalTime ( ) ; return dt ; }"

用于C#源代码摘要的CodeTrans模型

该预训练模型基于T5-large架构，专注于编程语言C#。最初发布于此代码库。该模型针对分词后的C#代码函数进行优化，在已分词的C#函数上表现最佳。

模型描述

本CodeTrans模型基于t5-large模型，拥有独立的SentencePiece词汇模型。通过多任务训练方式，在软件开发领域的13个监督任务和7个无监督数据集上进行训练。

使用场景与限制

该模型可用于生成C#函数描述，或微调后用于其他C#代码任务。支持未解析和未分词的C#代码，但对已分词的代码处理效果更佳。

使用方法

通过Transformers的SummarizationPipeline生成C#函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_large_source_code_summarization_csharp_multitask", skip_special_tokens=True),
    device=0
)

tokenized_code = "public static DateTime ParseUnixDateTime ( double unixTime ) { var dt = new DateTime ( CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , CODE_INTEGER , System . DateTimeKind . Utc ) ; dt = dt . AddSeconds ( unixTimeStamp ) . ToLocalTime ( ) ; return dt ; }"
pipeline([tokenized_code])

可在Colab笔记本中运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

训练过程

多任务预训练

模型在TPU Pod V3-8上训练总计120,000步，使用512的序列长度（批量大小4096）。采用编码器-解码器架构，总参数量约2.2亿。使用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

评估结果

不同模型在源代码摘要任务中各编程语言的BLEU得分：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英创建