许可协议：llama2
模型索引：

• 名称：Phind-CodeLlama-34B-v1
  测试结果：
  • 任务类型：文本生成
    数据集：
    类型：openai_humaneval
    名称：HumanEval
    指标：
    • 名称：pass@1
      类型：pass@1
      数值：73.8%
      验证状态：未验证
      标签：
• 代码骆驼模型

Phind-CodeLlama-34B-v2

我们在原有基础上使用15亿高质量编程相关数据对Phind-CodeLlama-34B-v1进行微调，在HumanEval测试中达到73.8% pass@1，是目前开源模型中的最先进水平。

该模型还采用Alpaca/Vicuna格式进行指令微调，具有可操控性强、易用的特点。更多细节详见我们的博客。

模型详情

本模型基于Phind-CodeLlama-34B-v1微调，在HumanEval测试中实现73.8% pass@1。

Phind-CodeLlama-34B-v2支持多语言编程，擅长Python、C/C++、TypeScript、Java等语言。

数据集详情

我们使用专有的15亿token高质量编程问题与解决方案数据集进行微调。该数据集采用指令-答案对结构（而非代码补全示例），与HumanEval结构迥异。训练未使用LoRA技术，采用原生微调方式。通过DeepSpeed ZeRO 3和Flash Attention 2技术，在32台A100-80GB GPU上耗时15小时完成训练，序列长度为4096个token。

快速开始

请确保安装最新版Transformers库：

pip install git+https://github.com/huggingface/transformers.git

提示词格式

本模型支持Alpaca/Vicuna指令格式，例如：

### 系统提示  
你是一个智能编程助手  

### 用户消息  
用C++实现链表结构  

### 助手  
...  

HumanEval结果复现

执行以下代码：

from transformers import AutoTokenizer, LlamaForCausalLM  
from human_eval.data import write_jsonl, read_problems  
from tqdm import tqdm  

# 初始化模型  
model_path = "Phind/Phind-CodeLlama-34B-v2"  
model = LlamaForCausalLM.from_pretrained(model_path, device_map="auto")  
tokenizer = AutoTokenizer.from_pretrained(model_path)  

# HumanEval辅助函数  
def generate_one_completion(prompt: str):  
    tokenizer.pad_token = tokenizer.eos_token  
    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=4096)  

    # 生成  
    generate_ids = model.generate(inputs.input_ids.to("cuda"), max_new_tokens=384, do_sample=True, top_p=0.75, top_k=40, temperature=0.1)  
    completion = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]  
    completion = completion.replace(prompt, "").split("\n\n\n")[0]  

    return completion  

# 执行HumanEval  
problems = read_problems()  
num_samples_per_task = 1  
samples = [  
    dict(task_id=task_id, completion=generate_one_completion(problems[task_id]["prompt"]))  
    for task_id in tqdm(problems)  
    for _ in range(num_samples_per_task)  
]  
write_jsonl("samples.jsonl", samples)  

# 在HumanEval代码沙箱中运行`evaluate_functional_correctness samples.jsonl`  

偏差、风险与限制

本模型仅经过有限测试，实际部署前需进行更多安全性测试。

训练详情

• 硬件配置：32台A100-80GB显卡
• 训练耗时：480 GPU小时
• 云服务商：AWS
• 计算区域：美东1区