模型索引：

• 名称：tulu-2-dpo-7b 结果：[] 数据集：
• HuggingFaceH4/ultrafeedback_binarized
• allenai/tulu-v2-sft-mixture 语言：
• en 基础模型：meta-llama/Llama-2-7b-hf 许可证：其他 许可证名称：ai2-impact-license-low-risk 许可证链接：https://allenai.org/impact-license

Tulu V2 DPO 7B模型卡

Tulu是一系列旨在作为有用助手的语言模型。Tulu V2 DPO 7B是基于Llama 2微调的版本，使用了公开可用、合成及人类数据集，采用直接偏好优化(DPO)方法训练。该模型是Llama 2 7b Chat的有力替代品。

详情请阅读论文：气候变化中的骆驼：通过Tulu 2增强语言模型适应性。

模型描述

• 模型类型：一套基于公开、合成及人类创建数据集混合训练的指令与RLHF调优聊天模型。
• 语言（NLP）：主要为英语
• 许可证：AI2 ImpACT低风险许可证。
• 微调基础模型：meta-llama/Llama-2-7b-hf

模型来源

• 代码库：https://github.com/allenai/open-instruct
• DPO配方：来自Zephyr Beta模型
• 模型家族：其他模型及数据集见Tulu V2系列。

性能表现

输入格式

模型训练使用以下格式（注意换行符）：

<|user|>
您的消息在此！
<|assistant|>

为获得最佳效果，请按此格式输入。确保在<|assistant|>后包含换行符，这对生成质量影响显著。

预期用途与限制

模型初始微调基于过滤和预处理的Tulu V2混合数据集，包含多样化的人类指令及其他LLM生成的合成对话。随后使用基于EasyLM构建的Jax DPO训练器在openbmb/UltraFeedback数据集上进一步对齐，该数据集包含6.4万条由GPT-4排名的提示与模型补全。

偏差、风险与限制

Tulu模型未经过RLHF阶段的安全补全对齐，也未部署类似ChatGPT的响应实时过滤机制，因此可能产生问题输出（尤其在诱导情况下）。基础Llama 2模型的训练数据规模与构成未知，可能包含网络数据及书籍代码等技术资料。类似案例参见Falcon 180B模型卡。

训练超参数

DPO训练使用的超参数：

• 学习率：5e-07
• 总训练批大小：32
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练轮次：3.0

引用

若Tulu 2对您的工作有帮助，请引用：

@misc{ivison2023camels,
      title={Camels in a Changing Climate: Enhancing LM Adaptation with Tulu 2}, 
      author={Hamish Ivison and Yizhong Wang and Valentina Pyatkin and Nathan Lambert and Matthew Peters and Pradeep Dasigi and Joel Jang and David Wadden and Noah A. Smith and Iz Beltagy and Hannaneh Hajishirzi},
      year={2023},
      eprint={2311.10702},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型卡改编自Zephyr Beta