标签:

• 摘要生成 小组件:
• 文本: "给定一个数字数组a和一个数字b，计算a中元素与b的差值"

程序合成的CodeTrans模型

基于编程语言Lisp启发的领域专用语言(DSL)，采用t5基础模型架构进行预训练的模型。首次发布于此代码库。

模型描述

该CodeTrans模型基于t5-base模型架构，拥有独立的SentencePiece词汇模型。通过程序合成数据集的单任务训练而成。

应用场景与限制

本模型可用于根据自然语言描述任务生成Lisp风格的DSL代码。

使用方法

以下展示如何通过Transformers的SummarizationPipeline生成Lisp风格DSL代码：

from transformers import AutoTokenizer, AutoModelWithLMHead, SummarizationPipeline

pipeline = SummarizationPipeline(
    model=AutoModelWithLMHead.from_pretrained("SEBIS/code_trans_t5_base_program_synthese"),
    tokenizer=AutoTokenizer.from_pretrained("SEBIS/code_trans_t5_base_program_synthese", skip_special_tokens=True),
    device=0
)

tokenized_code = "给定一个数字数组a和一个数字b，计算a中元素与b的差值"
pipeline([tokenized_code])

可通过Colab笔记本运行此示例。

训练数据

监督训练任务数据集可从此链接下载。

评估结果

针对代码文档生成任务，不同模型在各编程语言上的BLEU得分表现如下：

测试结果：

由Ahmed Elnaggar | LinkedIn和丁伟 | LinkedIn创建