license: llama2

CodeBooga-34B-v0.1

本模型由以下两个模型融合而成：

1. Phind-CodeLlama-34B-v2
2. WizardCoder-Python-34B-V1.0

采用BlockMerge Gradient脚本创建，该脚本曾用于开发MythoMax-L2-13b，且使用相同配置参数。具体YAML配置如下：

model_path1: "Phind_Phind-CodeLlama-34B-v2_safetensors"
model_path2: "WizardLM_WizardCoder-Python-34B-V1.0_safetensors"
output_model_path: "CodeBooga-34B-v0.1"
operations:
  - operation: lm_head # 单张量
    filter: "lm_head"
    gradient_values: [0.75]
  - operation: embed_tokens # 单张量
    filter: "embed_tokens"
    gradient_values: [0.75]
  - operation: self_attn
    filter: "self_attn"
    gradient_values: [0.75, 0.25]
  - operation: mlp
    filter: "mlp"
    gradient_values: [0.25, 0.75]
  - operation: layernorm
    filter: "layernorm"
    gradient_values: [0.5, 0.5]
  - operation: modelnorm # 单张量
    filter: "model.norm"
    gradient_values: [0.75]

提示词格式

两个基础模型均采用Alpaca格式，因此本模型也应沿用该格式：

以下是描述任务的指令。请编写恰当完成需求的回复。

### 指令：
您的指令内容

### 回复：
机器人应答

### 指令：
另一条指令

### 回复：
机器人应答

评估

（以下为非严谨测试，仅供参考）

我进行了快速实验，向下列模型提出3个Python和3个JavaScript实际问题（具有现实复杂性和细微差别的难题）：

1. 本模型
2. 使用上述YAML配置但调换model_path1/model_path2生成的变体CodeBooga-Reversed-34B-v0.1
3. WizardCoder-Python-34B-V1.0
4. Phind-CodeLlama-34B-v2

特别说明：所有模型均采用4.250b EXL2量化版本。我将每个问题的回答按质量排序，并赋予以下分值：

• 第4名：0分
• 第3名：1分
• 第2名：2分
• 第1名：4分

累计得分结果如下：

• CodeBooga-34B-v0.1：22分
• WizardCoder-Python-34B-V1.0：12分
• Phind-CodeLlama-34B-v2：7分
• CodeBooga-Reversed-34B-v0.1：1分

CodeBooga-34B-v0.1表现优异，而其变体表现欠佳，故仅发布前者。

量化版本

GGUF格式

TheBloke已为llama.cpp提供GGUF量化版本： https://huggingface.co/TheBloke/CodeBooga-34B-v0.1-GGUF