基础模型：jondurbin/bagel-34b-v0.2
许可证：apache-2.0

本模型是基于jondurbin优秀模型bagel的微调版本，未采用任何形式的模型合并技术。

我们通过新型微调技术DPO-Positive（DPOP）以及ARC、HellaSwag和MetaMath的全新成对偏好数据集（及其他现有数据集），开发出了Smaug-34B-v0.1。相关技术与完整训练细节详见我们的最新论文：https://arxiv.org/abs/2402.13228。

研究发现，在完成文本间编辑距离较小的数据集（如数学类数据集）中，标准DPO损失函数可能导致模型对优选样本的似然度下降——只要优选类与非优选类的相对概率有所提升。基于这一洞察，我们设计了DPOP：一种能规避此缺陷的新型损失函数与训练流程。值得注意的是，DPOP在各类数据集和下游任务（包括完成文本间编辑距离较大的数据集）中均优于DPO。

我们相信，这种新方法广泛适用于不同模型类型和下游场景的训练，并成为所有Smaug模型的核心技术。随着论文和数据集的发布，我们期待开源社区持续优化Smaug，孵化更多"巨龙"模型主导大语言模型领域！

评估结果

数据污染检测

参照模型jondurbin/bagel-34b-v0.2：

引用

若使用本项目的模型、数据或方法，请引用论文：

@article{pal2024smaug,
  title={Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive},
  author={Pal, Arka and Karkhanis, Deep and Dooley, Samuel and Roberts, Manley and Naidu, Siddartha and White, Colin},
  journal={arXiv preprint arXiv:2402.13228},
  year={2024}
}