Granite 34b Code Instruct 8k GGUF

由 ibm-granite 开发

IBM Granite 34B代码指令模型是一个专注于代码生成和解释的大语言模型，基于34B参数架构，支持多种编程语言。

大型语言模型

其他

开源协议:Apache-2.0 #多语言代码生成 #编程任务解释 #代码修复优化

下载量 40

发布时间 : 5/20/2024

模型介绍

内容详情

替代品

模型简介

该模型专门针对代码生成、代码解释和代码修复任务进行了优化，在多种编程语言的HumanEval评估中表现优异。

模型特点

多语言代码支持

支持Python、JavaScript、Java、Go、C++、Rust等多种编程语言的代码生成和解释

高性能代码生成

在HumanEvalSynthesis评估中，Python代码生成pass@1达到62.2%

代码解释能力

能够解释多种编程语言的代码功能，Python解释pass@1达到53.0%

代码修复能力

具备代码错误修复能力，Python代码修复pass@1达到54.9%

模型能力

代码生成

代码解释

代码修复

多语言编程支持

文本生成

使用案例

软件开发

代码自动补全

根据函数签名或注释自动生成完整代码实现

在HumanEvalSynthesis评估中表现优异

代码文档生成

为现有代码生成解释性文档

HumanEvalExplain评估显示良好的解释能力

代码错误修复

识别并修复代码中的错误

HumanEvalFix评估显示有效的修复能力

编程教育

编程学习辅助

帮助学生理解编程概念和代码示例

pipeline_tag: 文本生成 base_model: ibm-granite/granite-34b-code-base-8k inference: false license: apache-2.0 datasets:

bigcode/commitpackft
TIGER-Lab/MathInstruct
meta-math/MetaMathQA
glaiveai/glaive-code-assistant-v3
glaive-function-calling-v2
bugdaryan/sql-create-context-instruction
garage-bAInd/Open-Platypus
nvidia/HelpSteer metrics:
代码评估 library_name: transformers tags:
代码
granite model-index:
name: granite-34b-code-instruct-8k results:
- task: type: 文本生成 dataset: type: bigcode/humanevalpack name: HumanEvalSynthesis(Python) metrics:
  - name: pass@1 type: pass@1 value: 62.2 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(JavaScript) metrics:
  - name: pass@1 type: pass@1 value: 56.7 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(Java) metrics:
  - name: pass@1 type: pass@1 value: 62.8 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(Go) metrics:
  - name: pass@1 type: pass@1 value: 47.6 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(C++) metrics:
  - name: pass@1 type: pass@1 value: 57.9 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalSynthesis(Rust) metrics:
  - name: pass@1 type: pass@1 value: 41.5 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Python) metrics:
  - name: pass@1 type: pass@1 value: 53.0 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(JavaScript) metrics:
  - name: pass@1 type: pass@1 value: 45.1 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Java) metrics:
  - name: pass@1 type: pass@1 value: 50.6 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Go) metrics:
  - name: pass@1 type: pass@1 value: 36.0 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(C++) metrics:
  - name: pass@1 type: pass@1 value: 42.7 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalExplain(Rust) metrics:
  - name: pass@1 type: pass@1 value: 23.8 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Python) metrics:
  - name: pass@1 type: pass@1 value: 54.9 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(JavaScript) metrics:
  - name: pass@1 type: pass@1 value: 47.6 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Java) metrics:
  - name: pass@1 type: pass@1 value: 55.5 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Go) metrics:
  - name: pass@1 type: pass@1 value: 51.2 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(C++) metrics:
  - name: pass@1 type: pass@1 value: 47.0 veriefied: false
- task: type: 文本生成 dataset: type: bigcode/humanevalpack
  name: HumanEvalFix(Rust) metrics:
  - name: pass@1 type: pass@1 value: 45.1 veriefied: false

image/png

ibm-granite/granite-34b-code-instruct-8k-GGUF

这是原始模型 ibm-granite/granite-34b-code-instruct-8k 的 Q4_K_M 转换版本。更多详情请参考原始模型卡片。

使用 llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 安装
make

# 运行生成
./main -m granite-34b-code-instruct-8k-GGUF/granite-34b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color