Granite 8b Code Instruct 4k GGUF

由 ibm-granite 开发

IBM Granite 8B代码指令模型是一个专注于代码生成和解释的AI模型，支持多种编程语言，在HumanEval等基准测试中表现优异。

大型语言模型

其他

开源协议:Apache-2.0 #多语言代码生成 #编程任务优化 #代码解释修复

下载量 979

发布时间 : 5/30/2024

模型介绍

内容详情

替代品

模型简介

该模型是基于granite-8b-code-base-4k微调的代码生成模型，擅长多种编程语言的代码生成、解释和修复任务。

模型特点

多语言代码生成

支持Python、JavaScript、Java、Go、C++和Rust等多种编程语言的代码生成

高性能

在HumanEval基准测试中表现出色，多种语言的pass@1指标超过50%

代码解释能力

能够解释代码的功能和逻辑，帮助开发者理解代码

代码修复能力

可以识别并修复代码中的错误

模型能力

代码生成

代码解释

代码修复

多语言支持

文本生成

使用案例

软件开发

代码自动补全

根据函数签名或注释自动生成代码实现

在HumanEvalSynthesis测试中Python达到57.9% pass@1

代码文档生成

为现有代码生成解释文档

在HumanEvalExplain测试中Python达到53.0% pass@1

代码错误修复

识别并修复代码中的错误

在HumanEvalFix测试中Java达到48.2% pass@1

编程教育

编程学习辅助

帮助学生理解编程概念和代码逻辑

pipeline_tag: 文本生成 base_model: ibm-granite/granite-8b-code-base-4k inference: false license: apache-2.0 datasets:

bigcode/commitpackft
TIGER-Lab/MathInstruct
meta-math/MetaMathQA
glaiveai/glaive-code-assistant-v3
glaive-function-calling-v2
bugdaryan/sql-create-context-instruction
garage-bAInd/Open-Platypus
nvidia/HelpSteer metrics:
代码评估 library_name: transformers tags:
代码
granite model-index:
name: granite-8b-code-instruct-4k results:
- task: type: 文本生成 dataset: type: bigcode/humanevalpack name: HumanEvalSynthesis(Python) metrics:
  - name: pass@1 type: pass@1 value: 57.9 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(JavaScript) metrics:
  - name: pass@1 type: pass@1 value: 52.4 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(Java) metrics:
  - name: pass@1 type: pass@1 value: 58.5 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(Go) metrics:
  - name: pass@1 type: pass@1 value: 43.3 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(C++) metrics:
  - name: pass@1 type: pass@1 value: 48.2 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(Rust) metrics:
  - name: pass@1 type: pass@1 value: 37.2 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Python) metrics:
  - name: pass@1 type: pass@1 value: 53.0 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(JavaScript) metrics:
  - name: pass@1 type: pass@1 value: 42.7 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Java) metrics:
  - name: pass@1 type: pass@1 value: 52.4 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Go) metrics:
  - name: pass@1 type: pass@1 value: 36.6 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(C++) metrics:
  - name: pass@1 type: pass@1 value: 43.9 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Rust) metrics:
  - name: pass@1 type: pass@1 value: 16.5 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Python) metrics:
  - name: pass@1 type: pass@1 value: 39.6 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(JavaScript) metrics:
  - name: pass@1 type: pass@1 value: 40.9 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Java) metrics:
  - name: pass@1 type: pass@1 value: 48.2 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Go) metrics:
  - name: pass@1 type: pass@1 value: 41.5 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(C++) metrics:
  - name: pass@1 type: pass@1 value: 39.0 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Rust) metrics:
  - name: pass@1 type: pass@1 value: 32.9 veriefied: false

image/png

ibm-granite/granite-8b-code-instruct-4k-GGUF

这是原始模型 ibm-granite/granite-8b-code-instruct-4k 的 Q4_K_M 转换版本。更多详情请参考原始模型卡片。

使用 llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 安装
make

# 运行生成
./main -m granite-8b-code-instruct-4k-GGUF/granite-8b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color