🚀 CodeTrans模型:用于Go代码文档生成
CodeTrans是一个基于t5-small
架构的预训练模型,专门针对Go编程语言进行训练,可用于生成Go函数的文档描述。该模型首次发布于 此仓库,在经过标记化处理的Go代码函数上进行训练,因此在处理标记化的Go函数时表现最佳。
🚀 快速开始
本模型可用于生成Go函数的描述,也可在其他Go代码任务上进行微调。它可以处理未解析和未标记化的Go代码,但如果代码经过标记化处理,性能会更好。
以下是使用Transformers的SummarizationPipeline
来生成Go函数文档的示例代码:
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask", skip_special_tokens=True),
device=0
)
tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot }"
pipeline([tokenized_code])
你可以在 Colab笔记本 中运行此示例。
✨ 主要特性
- 基于
t5-small
架构:拥有自己的SentencePiece词汇模型。
- 多任务训练:在软件开发领域的13个监督任务和7个无监督数据集上进行多任务训练。
- 广泛适用性:可用于生成Go函数描述,也可在其他Go代码任务上进行微调。
📦 安装指南
文档未提及具体安装步骤,可参考相关依赖库的官方文档进行安装。
💻 使用示例
基础用法
from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline
pipeline = SummarizationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask"),
tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_small_code_documentation_generation_go_multitask", skip_special_tokens=True),
device=0
)
tokenized_code = "func ( pr * Progress ) needSnapshotAbort ( ) bool { return pr . State == ProgressStateSnapshot && pr . Match >= pr . PendingSnapshot }"
pipeline([tokenized_code])
📚 详细文档
模型描述
本CodeTrans模型基于t5-small
模型,拥有自己的SentencePiece词汇模型。它在软件开发领域的13个监督任务和7个无监督数据集上进行了多任务训练。
预期用途和限制
该模型可用于生成Go函数的描述,或在其他Go代码任务上进行微调。它可以处理未解析和未标记化的Go代码,但如果代码经过标记化处理,性能会更好。
训练数据
有监督训练任务的数据集可从 此处 下载。
训练过程
多任务预训练
该模型在单个TPU Pod V3 - 8上进行了总共340,000步的训练,使用的序列长度为512(批量大小为4096)。它总共有约2.2亿个参数,采用编码器 - 解码器架构进行训练。预训练时使用的优化器是AdaFactor,并采用了平方根倒数学习率调度。
🔧 技术细节
本模型在代码文档生成任务上,不同模型在不同编程语言上取得了以下BLEU分数结果:
语言/模型 |
Python |
Java |
Go |
Php |
Ruby |
JavaScript |
CodeTrans - ST - Small |
17.31 |
16.65 |
16.89 |
23.05 |
9.19 |
13.7 |
CodeTrans - ST - Base |
16.86 |
17.17 |
17.16 |
22.98 |
8.23 |
13.17 |
CodeTrans - TF - Small |
19.93 |
19.48 |
18.88 |
25.35 |
13.15 |
17.23 |
CodeTrans - TF - Base |
20.26 |
20.19 |
19.50 |
25.84 |
14.07 |
18.25 |
CodeTrans - TF - Large |
20.35 |
20.06 |
19.54 |
26.18 |
14.94 |
18.98 |
CodeTrans - MT - Small |
19.64 |
19.00 |
19.15 |
24.68 |
14.91 |
15.26 |
CodeTrans - MT - Base |
20.39 |
21.22 |
19.43 |
26.23 |
15.26 |
16.11 |
CodeTrans - MT - Large |
20.18 |
21.87 |
19.38 |
26.08 |
15.00 |
16.23 |
CodeTrans - MT - TF - Small |
19.77 |
20.04 |
19.36 |
25.55 |
13.70 |
17.24 |
CodeTrans - MT - TF - Base |
19.77 |
21.12 |
18.86 |
25.79 |
14.24 |
18.62 |
CodeTrans - MT - TF - Large |
18.94 |
21.42 |
18.77 |
26.20 |
14.19 |
18.83 |
现有最优模型 |
19.06 |
17.65 |
18.07 |
25.16 |
12.16 |
14.90 |
📄 许可证
文档未提及许可证相关信息。
由 Ahmed Elnaggar | LinkedIn 和 Wei Ding | LinkedIn 创建