数据集:

• tatsu-lab/alpaca 语言:
• en

Open-Instruct斯坦福Alpaca 7B模型

该模型是基于斯坦福Alpaca数据集微调的7B参数LLaMa模型。请注意这是模型差异文件——具体使用说明见下文。

本模型训练源自论文《骆驼能走多远？探索开放资源指令调优的现状》(https://arxiv.org/abs/2306.04751)。训练和评估代码库详见https://github.com/allenai/open-instruct。

模型许可证包含LICENSE.txt中的AI模型许可及原始Llama许可(llama_license.txt)。

使用说明

假设您已获取HF格式的LLaMa模型。获取及转换方法参考： https://huggingface.co/docs/transformers/main/model_doc/llama

克隆https://github.com/allenai/open-instruct安装依赖，或仅复制scripts/weight_diff.py并安装weight-diff-requirements.txt中的最小需求。将本模型差异文件下载至同一设备。

运行：

python scripts/weight_diff.py recover --path_raw ${hf_llama_path} --path_tuned ${output_path} --path_diff ${diff_location}

即可恢复完整模型！请注意该操作需要较大内存，大模型尤为明显。

输入格式

模型训练采用以下格式（注意换行符）：

<|user|>
您的输入内容
<|assistant|>

为获得最佳效果，请统一采用此格式。

性能表现

模型在我们论文中的基准测试表现如下：

若使用本模型，请引用我们的工作、LLaMa论文及原始数据集：

@misc{wang2023far,
      title={骆驼能走多远？探索开放资源指令调优的现状}, 
      author={王毅中等},
      year={2023},
      eprint={2306.04751},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{touvron2023llama,
      title={LLaMA：开放高效的基础语言模型}, 
      author={雨果·图夫隆等},
      year={2023},
      eprint={2302.13971},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{alpaca,
  author = {罗汉·陶里等},
  title = {斯坦福Alpaca：遵循指令的LLaMA模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://github.com/tatsu-lab/stanford_alpaca}},
}