语言:

• 英文 数据集:
• garage-bAInd/Open-Platypus
• Open-Orca/OpenOrca 库名称: transformers 流水线标签: 文本生成 许可证: cc-by-nc-4.0

🐋 首个OrcaPlatypus模型！🐋

OpenOrca-Platypus2-13B

OpenOrca-Platypus2-13B是garage-bAInd/Platypus2-13B与Open-Orca/OpenOrcaxOpenChat-Preview2-13B的融合成果。

该模型超越了各部分之和！我们很高兴与Platypus团队合作，为您带来再次登顶排行榜的新模型！

想查看我们完整（预过滤）数据集的可视化？请访问我们的Nomic Atlas地图。

我们正在训练更多模型，请关注我们的组织，即将与激动人心的合作伙伴发布新模型。

我们还会在Discord上提前预告，加入链接如下：

https://AlignmentLab.ai

评估

HuggingFace排行榜表现

我们使用语言模型评估工具运行上述基准测试，版本与HuggingFace LLM排行榜一致。

详细复现基准结果的说明请见下文。

AGIEval表现

我们与基础Preview2模型（使用LM评估工具）进行了对比。

在AGI Eval上达到基础模型性能的112%，平均0.463。 这一提升主要归功于LSAT逻辑推理能力的显著改善。

BigBench-Hard表现

我们与基础Preview2模型（使用LM评估工具）进行了对比。

在BigBench-Hard上达到基础模型性能的105%，平均0.442。

模型详情

• 训练方: Platypus2-13B由Cole Hunter & Ariel Lee训练；OpenOrcaxOpenChat-Preview2-13B由Open-Orca训练
• 模型类型: OpenOrca-Platypus2-13B是基于Llama 2 Transformer架构的自回归语言模型
• 语言: 英语
• Platypus2-13B基础权重许可: 非商业性知识共享许可(CC BY-NC-4.0)
• OpenOrcaxOpenChat-Preview2-13B基础权重许可: Llama 2商用许可

提示方式

基础Platypus2-13B的提示模板

### 指令:

<提示语>（去掉<>）

### 响应:

基础OpenOrcaxOpenChat-Preview2-13B的提示模板

OpenChat Llama2 V1: 详见OpenOrcaxOpenChat-Preview2-13B获取更多信息。

训练

训练数据集

garage-bAInd/Platypus2-13B使用STEM和逻辑数据集garage-bAInd/Open-Platypus训练。

更多信息请参阅我们的论文和项目网页。

Open-Orca/OpenOrcaxOpenChat-Preview2-13B使用OpenOrca数据集中GPT-4数据的精选子集训练。

训练过程

Open-Orca/Platypus2-13B采用LoRA在1块A100-80GB显卡上进行指令微调。 训练细节和推理说明请见Platypus GitHub仓库。

补充信息

复现评估结果（HuggingFace排行榜评估）

安装LM评估工具：

# 克隆仓库
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 进入目录
cd lm-evaluation-harness
# 检出指定提交
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# 安装
pip install -e .

每项任务在单块A100-80GB显卡上评估。

ARC:

python main.py --model hf-causal-experimental --model_args pretrained=Open-Orca/OpenOrca-Platypus2-13B --tasks arc_challenge --batch_size 1 --no_cache --write_out --output_path results/OpenOrca-Platypus2-13B/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag:

python main.py --model hf-causal-experimental --model_args pretrained=Open-Orca/OpenOrca-Platypus2-13B --tasks hellaswag --batch_size 1 --no_cache --write_out --output_path results/OpenOrca-Platypus2-13B/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU:

python main.py --model hf-causal-experimental --model_args pretrained=Open-Orca/OpenOrca-Platypus2-13B --tasks hendrycksTest-* --batch_size 1 --no_cache --write_out --output_path results/OpenOrca-Platypus2-13B/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA:

python main.py --model hf-causal-experimental --model_args pretrained=Open-Orca/OpenOrca-Platypus2-13B --tasks truthfulqa_mc --batch_size 1 --no_cache --write_out --output_path results/OpenOrca-Platypus2-13B/truthfulqa_0shot.json --device cuda

局限性与偏差

Llama 2及其微调变体是新技术，使用时存在风险。目前测试仅限于英语，且无法覆盖所有场景。与所有LLM一样，Llama 2及其变体的输出无法提前预测，有时可能产生不准确、有偏见或其他不当回应。因此在部署前，开发者应进行针对具体应用场景的安全测试和调优。

请参阅负责任使用指南：https://ai.meta.com/llama/responsible-use-guide/

引用

@software{hunterlee2023orcaplaty1
  title = {OpenOrcaPlatypus: 基于过滤OpenOrcaV1 GPT-4数据集指令微调并与差异化STEM及逻辑数据集模型融合的Llama2-13B模型},
  author = {Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz and Bleys Goodson and Wing Lian and Guan Wang and Eugene Pentland and Austin Cook and Chanvichet Vong and "Teknium"},
  year = {2023},
  publisher = {HuggingFace},
  journal = {HuggingFace仓库},
  howpublished = {\url{https://huggingface.co/Open-Orca/OpenOrca-Platypus2-13B},
}
@article{platypus2023,
    title={Platypus: 快速、低成本且强大的LLM优化方法}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv预印本 arxiv:2308.07317},
    year={2023}
}
@software{OpenOrcaxOpenChatPreview2,
  title = {OpenOrcaxOpenChatPreview2: 基于过滤OpenOrcaV1 GPT-4数据集指令微调的Llama2-13B模型},
  author = {Guan Wang and Bleys Goodson and Wing Lian and Eugene Pentland and Austin Cook and Chanvichet Vong and "Teknium"},
  year = {2023},
  publisher = {HuggingFace},
  journal = {HuggingFace仓库},
  howpublished = {\url{https://https://huggingface.co/Open-Orca/OpenOrcaxOpenChat-Preview2-13B},
}
@software{openchat,
  title = {{OpenChat: 利用不完美数据推进开源语言模型}},
  author = {Wang, Guan and Cheng, Sijie and Yu, Qiying and Liu, Changling},
  doi = {10.5281/zenodo.8105775},
  url = {https://github.com/imoneoi/openchat},
  version = {预发布版},
  year = {2023},
  month = {7},
}
@misc{mukherjee2023orca,
      title={Orca: 从GPT-4的复杂解释轨迹中进行渐进式学习}, 
      author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},
      year={2023},
      eprint={2306.02707},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
@misc{touvron2023llama,
    title={Llama 2: 开放基础与微调聊天模型}, 
    author={Hugo Touvron等},
    year={2023},
    eprint= arXiv 2307.09288
}
@misc{longpre2023flan,
      title={Flan系列: 设计有效指令微调的数据与方法}, 
      author={Shayne Longpre等},
      year={2023},
      eprint={2301.13688},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}
@article{hu2021lora,
  title={LoRA: 大语言模型的低秩自适应},
  author={Hu, Edward J.等},
  journal={CoRR},
  year={2021}
}