Octocoder

由 bigcode 开发

OctoCoder是一个拥有155亿参数的指令调优模型，基于StarCoder在CommitPackFT和OASST数据集上微调而成，支持80+种编程语言。

大型语言模型

Transformers

其他

开源协议:Openrail #多语言代码生成 #指令调优模型 #GitHub提交优化

下载量 144

发布时间 : 7/23/2023

模型介绍

内容详情

替代品

模型简介

OctoCoder是一个专注于代码生成的大语言模型，能够根据指令生成高质量的代码片段，支持多种编程语言。

模型特点

多语言代码生成

支持80多种编程语言的代码生成能力

指令调优

基于CommitPackFT和OASST数据集进行指令调优，能更好地理解并执行编程指令

高质量代码生成

在HumanEvalPack评估中表现出色，特别是在Python代码生成方面

模型能力

代码生成

代码修复

代码解释

多语言编程支持

使用案例

编程辅助

算法实现

根据指令生成特定算法的实现代码

在HumanEvalSynthesize Python评估中达到46.2%的pass@1准确率

代码修复

识别并修复代码中的错误

在HumanEvalFix Python评估中达到30.4%的pass@1准确率

代码解释

为代码片段生成解释说明

在HumanEvalExplain Python评估中达到35.1%的pass@1准确率

教育

编程教学

生成教学示例代码和解释

pipeline_tag: 文本生成
inference: true
widget:

text: '问题：请用Python编写一个实现冒泡排序的函数。\n\n回答：'
example_title: 冒泡排序
group: Python
license: bigcode-openrail-m
datasets:
bigcode/commitpackft
bigcode/oasst-octopack
metrics:
code_eval
library_name: transformers
tags:
代码
model-index:
name: OctoCoder
results:
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize Python
  metrics:
  - name: pass@1
    type: pass@1
    value: 46.2
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize JavaScript
  metrics:
  - name: pass@1
    type: pass@1
    value: 39.2
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize Java
  metrics:
  - name: pass@1
    type: pass@1
    value: 38.2
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize Go
  metrics:
  - name: pass@1
    type: pass@1
    value: 30.4
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize C++
  metrics:
  - name: pass@1
    type: pass@1
    value: 35.6
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize Rust
  metrics:
  - name: pass@1
    type: pass@1
    value: 23.4
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalSynthesize Average
  metrics:
  - name: pass@1
    type: pass@1
    value: 35.5
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix Python
  metrics:
  - name: pass@1
    type: pass@1
    value: 30.4
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix JavaScript
  metrics:
  - name: pass@1
    type: pass@1
    value: 28.4
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix Java
  metrics:
  - name: pass@1
    type: pass@1
    value: 30.6
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix Go
  metrics:
  - name: pass@1
    type: pass@1
    value: 30.2
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix C++
  metrics:
  - name: pass@1
    type: pass@1
    value: 26.1
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix Rust
  metrics:
  - name: pass@1
    type: pass@1
    value: 16.5
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalFix Average
  metrics:
  - name: pass@1
    type: pass@1
    value: 27.0
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain Python
  metrics:
  - name: pass@1
    type: pass@1
    value: 35.1
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain JavaScript
  metrics:
  - name: pass@1
    type: pass@1
    value: 24.5
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain Java
  metrics:
  - name: pass@1
    type: pass@1
    value: 27.3
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain Go
  metrics:
  - name: pass@1
    type: pass@1
    value: 21.1
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain C++
  metrics:
  - name: pass@1
    type: pass@1
    value: 24.1
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain Rust
  metrics:
  - name: pass@1
    type: pass@1
    value: 14.8
    verified: false
- task:
  type: 文本生成
  dataset:
  type: bigcode/humanevalpack
  name: HumanEvalExplain Average
  metrics:
  - name: pass@1
    type: pass@1
    value: 24.5
    verified: false

模型概述

OctoCoder是一个拥有155亿参数的指令调优模型，基于StarCoder在CommitPackFT和OASST数据集上微调而成，详见OctoPack论文。

代码库: bigcode-project/octopack
论文: OctoPack: 代码大语言模型的指令调优
支持语言: 80+种编程语言
OctoPack🐙🎒:

数据	CommitPack	4TB GitHub提交记录，覆盖350种编程语言
	CommitPackFT	CommitPack的过滤版本，保留高质量类指令的提交信息
模型	OctoCoder	基于CommitPackFT + OASST指令调优的StarCoder（160亿参数）
	OctoGeeX	基于CommitPackFT + OASST指令调优的CodeGeeX2（60亿参数）
评估	HumanEvalPack	OpenAI HumanEval的扩展版，覆盖6种语言的3种场景

使用方法

预期用途

模型会根据输入中的指令生成内容。输入需以"问题："开头，并以"回答："结尾，例如："问题：请用Python编写一个实现冒泡排序的函数。\n\n回答："

欢迎在社区标签页分享您的生成结果！

生成示例

# pip install -q transformers  
from transformers import AutoModelForCausalLM, AutoTokenizer  

checkpoint = "bigcode/octocoder"  
device = "cuda" # 使用GPU或"cpu"使用CPU  

tokenizer = AutoTokenizer.from_pretrained(checkpoint)  
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)  

inputs = tokenizer.encode("问题：请用Python编写一个实现冒泡排序的函数。\n\n回答：", return_tensors="pt").to(device)  
outputs = model.generate(inputs)  
print(tokenizer.decode(outputs[0]))

训练过程

模型架构

架构: 采用多查询注意力机制和填中间目标（Fill-in-the-Middle）的GPT-2模型
训练步数: 25万步预训练 + 3万步指令调优
训练token量: 1万亿预训练token + 200万指令调优token
精度: bfloat16

硬件配置

预训练:
- GPU: 512张Tesla A100
- 训练时长: 24天
指令调优:
- GPU: 8张Tesla A100
- 训练时长: 4小时

软件栈

训练框架: Megatron-LM/Transformers
神经网络库: PyTorch

引用

@article{muennighoff2023octopack,  
      title={OctoPack: 代码大语言模型的指令调优},   
      author={Niklas Muennighoff and Qian Liu and Armel Zebaze and Qinkai Zheng and Binyuan Hui and Terry Yue Zhuo and Swayam Singh and Xiangru Tang and Leandro von Werra and Shayne Longpre},  
      journal={arXiv preprint arXiv:2308.07124},  
      year={2023}  
}