数据集:

• databricks/databricks-dolly-15k
• OpenAssistant/oasst1
• sahil2801/CodeAlpaca-20k 语言:
• 英语 访问申请提示: >- 如需申请访问该模型，请填写此表格，我们将审核您的使用场景并通知您是否获得批准。您提供的信息仅用于评估访问资格。 访问申请字段: 名: 文本 姓: 文本 机构: 文本 所在国家: 文本 用途说明: 文本 相关既往出版物: 文本 我同意遵守该模型相关的许可条款，包括使用领域限制: 复选框

Tulu 65B大模型

该模型是基于多指令数据集（FLAN V2、CoT、Dolly、Open Assistant 1、GPT4-Alpaca、Code-Alpaca和ShareGPT）微调的65B参数LLaMa模型。 请注意这是模型差异文件——具体使用说明见下文。

本模型是论文《骆驼能走多远？探索开放资源指令调优的现状》(https://arxiv.org/abs/2306.04751)的研究成果，训练代码库详见https://github.com/allenai/open-instruct。

这是本项目训练的最强综合性能模型！

本模型采用LICENSE.txt中的AI模型许可证及原始Llama许可证(llama_license.txt)，许可证文件可在代码库查看——模型许可证见tulu_license.txt，Llama许可证见llama_license.txt。

使用说明

假设您已获取HF格式的LLaMa模型访问权限，转换方法参考： https://huggingface.co/docs/transformers/main/model_doc/llama

克隆https://github.com/allenai/open-instruct并安装依赖，或直接复制scripts/weight_diff.py脚本并安装weight-diff-requirements.txt中的最小需求。然后将本模型差异文件下载至同一设备。

运行以下命令：

python scripts/weight_diff.py recover --path_raw ${hf_llama_path} --path_tuned ${output_path} --path_diff ${diff_location}

即可完成模型恢复。注意该过程需要较大内存，模型越大需求越高。

输入格式

模型训练采用以下格式（注意换行符）：

<|user|>
您的输入内容
<|assistant|>

为保证最佳效果，请严格遵循此格式。特别注意<|assistant|>后需换行，这对生成质量影响显著。

性能表现

本模型在论文所述基准测试中的表现如下：

若使用本模型，请引用我们的工作、LLaMa论文及原始数据集：

（此处保留原文文献引用格式，内容未翻译）