语言: 代码
标签:

• 代码
• GPT-2
• 生成

数据集:

• codeparrot/codeparrot-clean-train

交互示例:

• 文本: "from transformer import"
  示例标题: "Transformers"
• 文本: "def print_hello_world():\n\t"
  示例标题: "Hello World!"
• 文本: "def get_file_size(filepath):"
  示例标题: "文件大小"
• 文本: "import numpy as"
  示例标题: "Numpy"

模型索引:

• 名称: codeparrot
  结果:
  • 任务:
    名称: 代码生成
    类型: code-generation
    数据集:
    名称: "HumanEval"
    类型: openai_humaneval
    指标:
    • 名称: pass@1
      类型: code_eval
      值: 3.99
    • 名称: pass@10
      类型: code_eval
      值: 8.69
    • 名称: pass@100
      类型: code_eval
      值: 17.88

CodeParrot 🦜

CodeParrot 🦜 是一个基于GPT-2架构（15亿参数）训练的Python代码生成模型。在初始训练并发布v1.0版本后，我们进一步训练模型并发布了v1.1版本（详情见下文）。

使用方法

您可以直接通过transformers加载CodeParrot模型和分词器：

from transformers import AutoTokenizer, AutoModelWithLMHead  

tokenizer = AutoTokenizer.from_pretrained("codeparrot/codeparrot")  
model = AutoModelWithLMHead.from_pretrained("codeparrot/codeparrot")  

inputs = tokenizer("def hello_world():", return_tensors="pt")  
outputs = model(**inputs)  

或使用pipeline：

from transformers import pipeline  

pipe = pipeline("text-generation", model="codeparrot/codeparrot")  
outputs = pipe("def hello_world():")  

训练过程

模型分两个阶段在清洗后的CodeParrot 🦜数据集上训练。初始训练（v1.0）后，模型继续训练了3万步得到v1.1版本，具体配置如下表：

训练在16块A100（40GB显存）GPU上完成，总计消耗约260亿+150亿token。

性能表现

我们在OpenAI的HumanEval基准测试（包含编程挑战题）上评估模型：

pass@k指标表示k次生成中至少有一次通过测试的概率。

资源

• 数据集: 完整版, 训练集, 验证集
• 代码: 仓库
• 演示空间: 代码生成, 语法高亮