标签:

• 摘要生成 小部件:
• 文本: "解析此包的许可证使用节点（如有），并返回存在的许可证定义"

用于API推荐生成的CodeTrans模型

该预训练模型基于t5基础架构，专为API推荐生成任务而设计。最初发布于此代码库。

模型描述

本CodeTrans模型基于t5-base模型，拥有独立的SentencePiece词汇模型。通过多任务训练方式，在软件开发领域的13个监督任务和7个无监督数据集上进行预训练，最终针对Java API的推荐生成任务进行微调。

使用场景与限制

该模型可用于生成Java编程任务的API使用建议。

使用方法

以下示例展示如何使用Transformers的SummarizationPipeline生成Java函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_api_generation_multitask_finetune", skip_special_tokens=True),
    device=0
)

tokenized_code = "解析此包的许可证使用节点（如有），并返回存在的许可证定义"
pipeline([tokenized_code])

可在Colab笔记本中运行此示例。

训练数据

监督训练任务数据集可通过此链接下载。

训练流程

多任务预训练

模型在TPU Pod V3-8上训练总计50万步，使用512序列长度（批次大小4096）。该编码器-解码器架构模型共含约2.2亿参数，采用AdaFactor优化器配合平方根倒数学习率调度进行预训练。

微调阶段

随后在TPU Pod V2-8上进行32万步微调，使用512序列长度（批次大小256），仅采用包含API推荐生成数据的数据集。

评估结果

不同模型在代码文档生成任务中各编程语言的BLEU评分表现：

测试结果：

由Ahmed Elnaggar | 领英和Wei Ding | 领英共同创建