Wizardcoder Python 13B V1.0

由 WizardLMTeam 开发

WizardCoder是通过Evol-Instruct方法增强的代码大语言模型，专注于代码生成任务。

大型语言模型

Transformers

其他

#代码生成 #Python优化 #大语言模型

下载量 681

发布时间 : 8/26/2023

模型介绍

内容详情

替代品

模型简介

该模型是基于Llama2架构的13B参数代码生成模型，专门针对Python编程语言优化，在HumanEval基准测试中达到64.0 pass@1的优异表现。

模型特点

Evol-Instruct增强

采用Evol-Instruct方法进行指令优化，显著提升代码生成能力

高性能代码生成

在HumanEval基准测试中达到64.0 pass@1的优异成绩

Python专业化

专门针对Python编程语言进行优化训练

模型能力

Python代码生成

代码补全

编程问题解答

使用案例

软件开发

自动化代码生成

根据自然语言描述生成Python代码

在HumanEval测试中达到64%的一次通过率

编程教育辅助

帮助学生理解和生成Python代码示例

license: llama2
metrics:

code_eval
library_name: transformers
tags:
code
model-index:
name: WizardCoder-Python-13B-V1.0
results:
- task:
  type: text-generation
  dataset:
  type: openai_humaneval
  name: HumanEval
  metrics:
  - name: pass@1
    type: pass@1
    value: 0.64
    verified: false

WizardCoder：通过Evol-Instruct赋能代码大语言模型

🏠 主页

🤗 HuggingFace仓库 •🐱 Github仓库 • 🐦 Twitter

📃 [WizardLM论文] • 📃 [WizardCoder论文] • 📃 [WizardMath论文]

👋 加入我们的Discord社区

最新动态

[2024/01/04] 🔥 我们发布了基于deepseek-coder-33b-base训练的WizardCoder-33B-V1.1，在EvalPlus排行榜上成为开源代码大模型SOTA，在HumanEval上达到79.9 pass@1，HumanEval-Plus上73.2 pass@1，MBPP上78.9 pass@1，MBPP-Plus上66.9 pass@1。

[2024/01/04] 🔥 WizardCoder-33B-V1.1在HumanEval和HumanEval-Plus pass@1上超越ChatGPT 3.5、Gemini Pro和DeepSeek-Coder-33B-instruct。

[2024/01/04] 🔥 WizardCoder-33B-V1.1在MBPP和MBPP-Plus pass@1上与ChatGPT 3.5相当，并超越Gemini Pro。

模型	检查点	论文	HumanEval	HumanEval+	MBPP	MBPP+	许可证
GPT-4-Turbo (2023年11月)	-	-	85.4	81.7	83.0	70.7	-
GPT-4 (2023年5月)	-	-	88.4	76.8	-	-	-
GPT-3.5-Turbo (2023年11月)	-	-	72.6	65.9	81.7	69.4	-
Gemini Pro	-	-	63.4	55.5	72.9	57.9	-
DeepSeek-Coder-33B-instruct	-	-	78.7	72.6	78.7	66.7	-
WizardCoder-33B-V1.1	🤗 HuggingFace链接	📃 [WizardCoder论文]	79.9	73.2	78.9	66.9	微软研究院许可证
WizardCoder-Python-34B-V1.0	🤗 HuggingFace链接	📃 [WizardCoder论文]	73.2	64.6	73.2	59.9	Llama2许可证
WizardCoder-15B-V1.0	🤗 HuggingFace链接	📃 [WizardCoder论文]	59.8	52.4	--	--	OpenRAIL-M许可证
WizardCoder-Python-13B-V1.0	🤗 HuggingFace链接	📃 [WizardCoder论文]	64.0	--	--	--	Llama2许可证
WizardCoder-Python-7B-V1.0	🤗 HuggingFace链接	📃 [WizardCoder论文]	55.5	--	--	--	Llama2许可证
WizardCoder-3B-V1.0	🤗 HuggingFace链接	📃 [WizardCoder论文]	34.8	--	--	--	OpenRAIL-M许可证
WizardCoder-1B-V1.0	🤗 HuggingFace链接	📃 [WizardCoder论文]	23.8	--	--	--	OpenRAIL-M许可证

我们的WizardMath-70B-V1.0模型在GSM8K上略微超越部分闭源大语言模型，包括ChatGPT 3.5、Claude Instant 1和PaLM 2 540B。
我们的WizardMath-70B-V1.0模型在GSM8k基准测试上达到81.6 pass@1，比当前最优开源模型高出24.8分；在MATH基准测试上达到22.7 pass@1，高出开源SOTA模型9.2分。

模型	检查点	论文	GSM8k	MATH	在线演示	许可证
WizardMath-70B-V1.0	🤗 HuggingFace链接	📃 [WizardMath论文]	81.6	22.7	演示	Llama 2许可证
WizardMath-13B-V1.0	🤗 HuggingFace链接	📃 [WizardMath论文]	63.9	14.0	演示	Llama 2许可证
WizardMath-7B-V1.0	🤗 HuggingFace链接	📃 [WizardMath论文]	54.9	10.7	演示	Llama 2许可证

[2023/08/09] 我们发布了WizardLM-70B-V1.0模型，完整模型权重参见此处。

^模型	^检查点	^论文	^MT-Bench	^AlpacaEval	^GSM8k	^HumanEval	^许可证
^{WizardLM-70B-V1.0}	^{🤗 HuggingFace链接}	^{📃即将发布}	^7.78	^92.91%	^77.6%	^50.6	^{Llama 2许可证}
^{WizardLM-13B-V1.2}	^{🤗 HuggingFace链接}		^7.06</