标签:

• 摘要生成 小部件:
• 文本: "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"

用于Python代码文档生成的CodeTrans模型

该模型基于T5基础架构，针对编程语言Python进行预训练。首次发布于此代码库。该模型在分词后的Python代码函数上训练效果最佳。

模型描述

本CodeTrans模型基于t5-base架构，拥有独立的SentencePiece词汇模型，采用单任务训练方式，训练数据来自CodeSearchNet语料库的Python数据集。

使用场景与限制

可用于生成Python函数描述，或微调后处理其他Python代码任务。支持未解析和未分词的原始代码，但使用分词后的代码性能更优。

使用方法

通过Transformers的SummarizationPipeline生成Python函数文档示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_python", skip_special_tokens=True),
    device=0
)

tokenized_code = "def e ( message , exit_code = None ) : print_log ( message , YELLOW , BOLD ) if exit_code is not None : sys . exit ( exit_code )"
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

评估结果

不同模型在代码文档生成任务中的BLEU分数表现：

测试结果：

由Ahmed Elnaggar | 领英与Wei Ding | 领英创建