语言: 代码
许可证: MIT
标签:

• 代码
• GPyT
• 代码生成器

GPyT是一个基于GitHub上Python代码从头训练（非微调）的GPT2模型。总体而言，训练数据约为80GB的纯Python代码，当前GPyT模型仅训练了2个周期，因此继续训练和/或微调可能会显著提升其性能。

换行符被替换为<N>。

模型的输入是代码，长度上限为1024个上下文标记，换行符需替换为<N>。

以下是一个快速使用示例：

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("Sentdex/GPyT")
model = AutoModelWithLMHead.from_pretrained("Sentdex/GPyT")

# 在此处粘贴代码片段
inp = """import"""

newlinechar = "<N>"
converted = inp.replace("\n", newlinechar)
tokenized = tokenizer.encode(converted, return_tensors='pt')
resp = model.generate(tokenized)

decoded = tokenizer.decode(resp[0])
reformatted = decoded.replace("<N>","\n")

print(reformatted)

输出示例：

import numpy as np
import pytest

import pandas as pd<N

但该模型的功能远不止生成导入语句。更多示例及模型能力解析详见：
https://pythonprogramming.net/GPT-python-code-transformer-model-GPyT/

注意事项：

1. 本模型仅供教育研究用途，请勿轻信其输出结果。
2. 模型极可能直接复现训练数据中的代码片段。如需实际使用生成代码，请自行确认相关许可协议。
3. 所有训练代码均未经筛选来自GitHub，包含Python 2/3混合代码，存在空格/制表符差异等非统一特征。
4. 基于上述原因，生成代码可能执行任意操作。运行风险自负——它可能包含任何内容。