推理: false
数据集:

• bigcode/commitpackft
  模型索引:
• 名称: patched-coder-34b
  结果:
  • 任务:
    类型: 文本生成
    数据集:
    类型: openai_humaneval
    名称: HumanEval
    指标:
    • 名称: pass@1
      类型: pass@1
      值: 53.567
      已验证: false
  • 任务:
    类型: 文本生成
    数据集:
    类型: bigcode/humanevalpack
    名称: HumanEvalFix Python
    指标:
    • 名称: pass@1
      类型: pass@1
      值: 41.341
      已验证: false
  • 任务:
    类型: 文本生成
    数据集:
    类型: patched-codes/static-analysis-eval
    名称: Static Analysis Eval
    指标:
    • 名称: pass@1
      类型: pass@1
      值: 51.316
      已验证: false
      许可证: llama2

patched-coder-34b 模型卡

这是一个针对代码修补任务进行指令微调的模型。修补可能包括修复错误、补救安全漏洞、进行API迁移以及其他类型的代码维护工作。

模型详情

模型描述

• 开发者: codelion
• 模型类型: Code Llama
• 微调基础模型: CodeLlama-34b-Python

如何开始使用该模型

确保从主git分支安装Transformers:

pip install git+https://github.com/huggingface/transformers.git  

如何提示模型

该模型接受alpaca指令格式。

例如:

### 指令:  
{instruction}  

### 输入:  
{input}  

### 响应:  
...  

偏见、风险和限制

该模型经过的测试非常有限。在实际部署之前，应进行额外的安全性测试。

训练详情

• GPU: A100 80 GB
• 时间: ~8小时

训练数据

该模型在commitpackft上进行了微调，这是一个由提交记录组成的开放数据集。
我们从数据集中筛选了与python语言相关的提交记录，然后进一步过滤出所有与修复错误相关的提交。

训练过程

通过指令微调使模型能够遵循与代码相关的自然语言指令。我们以4位量化加载基础模型，并使用QLoRA进行参数高效微调（PEFT）和Flash Attention。模型训练了2个周期。

训练超参数

训练方案:

训练中使用了以下bitsandbytes量化配置:

• 量化方法: bitsandbytes
• 以8位加载: False
• 以4位加载: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: True
• bnb_4bit_compute_dtype: bfloat16

评估

我们使用Code Generation LM Evaluation Harness在HumanEval（用于代码生成）和HumanEvalFix Python（用于错误修复）基准上评估了模型。

为了评估模型在漏洞修复方面的表现，我们使用了Static Analysis Eval基准。

结果

基于这些基准测试的结果，patched-coder-34b是最先进的开放代码LLM。其他代码LLM（例如来自WizardCoder和Phind的模型）要么是在未知的专有数据集上训练的，要么使用了OpenAI的API进行训练，这使得它们不适合商业用途。