标签:

• 摘要生成 小部件:
• 文本: "function isStandardBrowserEnv ( ) { if ( typeof navigator !== 'undefined' && ( navigator . product === 'ReactNative' || navigator . product === 'NativeScript' || navigator . product === 'NS' ) ) { return false ; } return ( typeof window !== 'undefined' && typeof document !== 'undefined' ) ; }"

用于代码文档生成的CodeTrans模型（JavaScript）

该模型基于T5基础架构，针对JavaScript编程语言进行预训练。首次发布于此代码库。该模型在分词的JavaScript代码函数上进行训练：对经过分词的JavaScript函数效果最佳。

模型描述

此CodeTrans模型基于t5-base模型，拥有独立的SentencePiece词汇表。采用单任务训练方式，使用CodeSearchNet语料库中的JavaScript数据集。

用途与限制

该模型可用于生成JavaScript函数描述，或针对其他JavaScript代码任务进行微调。支持未解析和未分词的原始JavaScript代码，但经过分词的代码性能更优。

使用方法

通过Transformers的SummarizationPipeline生成JavaScript函数文档：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_code_documentation_generation_javascript", skip_special_tokens=True),
    device=0
)

tokenized_code = "function isStandardBrowserEnv ( ) { if ( typeof navigator !== 'undefined' && ( navigator . product === 'ReactNative' || navigator . product === 'NativeScript' || navigator . product === 'NS' ) ) { return false ; } return ( typeof window !== 'undefined' && typeof document !== 'undefined' ) ; }"
pipeline([tokenized_code])

可在Colab笔记本运行此示例。

训练数据

监督训练任务数据集可在此链接下载。

评估结果

不同模型在代码文档生成任务中各编程语言的BLEU得分表现：

测试结果：

由Ahmed Elnaggar | LinkedIn和Wei Ding | LinkedIn创建