🚀 Excalibur-7b-DPO

这是一次对微调领域的初步探索，此次发布旨在提升原始模型的响应质量，尤其针对视觉用例。

此处 提供加权（重要性矩阵）量化版本

此处 提供静态（传统）量化版本

🚀 快速开始

本项目是对 Excalibur-7b 模型使用 Direct Preference Optimization (DPO) 方法，基于 Intel/orca_dpo_pairs 数据集进行微调的成果。这是一个快速实验，旨在确定 DPO 微调对 Excelsior-7b 基础模型的影响。实验在单个 A100 上运行了一个多小时，微调成功使模型更具对话能力且更加全面。

✨ 主要特性

• 微调优化：使用 DPO 方法对 Excalibur-7b 模型进行微调，提升了模型的对话能力和全面性。
• 性能提升：与基础的 Excelsior-7b 模型相比，在多个基准测试中得分有所提高，具体如下：
  • ARC：从 69.71 提升到 70.9
  • HellaSwag：从 87.56 提升到 87.93
  • TruthfulQA：从 67.24 提升到 70.82
  • 平均分：从 73.6 提升到 73.84
• 精度：采用 bfloat16 精度。

📚 详细文档

视觉用例说明

⚠️ 重要提示

视觉功能需要额外的 mmproj 文件。您有两种选择（可在本仓库中获取）：

• 量化版本 - 有限显存选项 (197mb)
• 非量化版本 - 高级选项 / 最佳质量 (596mb)

在 Koboldcpp 中像往常一样选择您需要的 gguf 文件，然后确保在模型子菜单的 LLaVA mmproj 字段中选择上述的 mmproj 文件：

提示格式

💡 使用建议

为获得最佳效果，请使用 ChatML 作为提示格式，Alpaca 格式也可能适用。

基准测试结果

详细结果可查看 此处

📄 许可证

本项目采用 Apache-2.0 许可证。