数据集:

• sahil2801/CodeAlpaca-20k 语言:
• 英文

Open-Instruct 代码羊驼 7B 模型

该模型是基于代码羊驼数据集微调的7B参数LLaMa模型。请注意这是模型差异文件 - 具体使用说明见下文。

本模型训练源自论文《骆驼能走多远？探索开放资源指令调优的现状》(https://arxiv.org/abs/2306.04751)。相关训练和评估代码库详见：https://github.com/allenai/open-instruct

本模型遵循LICENSE.txt中的AI模型许可协议及原始Llama许可(llama_license.txt)。

使用说明

假设您已获取HF格式的LLaMa模型。获取及转换方法参考： https://huggingface.co/docs/transformers/main/model_doc/llama

克隆https://github.com/allenai/open-instruct并安装依赖，或仅复制scripts/weight_diff.py脚本并安装weight-diff-requirements.txt中的基础依赖。将本模型差异文件下载至同一设备。

执行命令：

python scripts/weight_diff.py recover --path_raw ${hf_llama_path} --path_tuned ${output_path} --path_diff ${diff_location}

即可完成模型恢复。注意此过程需较大内存，模型越大需求越高。

输入格式

模型训练采用以下格式（注意换行符）：

<|user|>
您的输入内容
<|assistant|>

为获得最佳效果，请统一采用此格式。

性能表现

模型在我们论文中各项基准测试表现如下：

若使用本模型，请引用我们的工作、原始LLaMa论文及数据集：

@misc{wang2023far,
      title={骆驼能走多远？探索开放资源指令调优的现状},  
      author={王艺钟等},
      year={2023},
      eprint={2306.04751},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{touvron2023llama,
      title={LLaMA：开放高效的基础语言模型},
      author={Hugo Touvron等},
      year={2023},
      eprint={2302.13971},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{codealpaca,
  author = {萨希尔·乔杜里},
  title = {代码羊驼：遵循指令的代码生成LLaMA模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://github.com/sahil280114/codealpaca}},
}