许可证：apache-2.0
库名称：transformers
标签：

• 微调
• DPO
• ChatML
  基础模型：
• InferenceIllusionist/Excalibur-7b
  数据集：
• Intel/orca_dpo_pairs

模型索引：

• 名称：Excalibur-7b-DPO
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC-Challenge
    拆分：测试
    参数：
    样本数：25
    指标：

    • 类型：标准化准确率
      值：70.9
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=InferenceIllusionist/Excalibur-7b-DPO
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证
    参数：
    样本数：10
    指标：

    • 类型：标准化准确率
      值：87.93
      名称：标准化准确率
      来源：
      URL：同上
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5样本）
    类型：cais/mmlu
    配置：全部
    拆分：测试
    参数：
    样本数：5
    指标：

    • 类型：准确率
      值：65.46
      名称：准确率
      来源：
      URL：同上
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0样本）
    类型：truthful_qa
    配置：多选
    拆分：验证
    参数：
    样本数：0
    指标：

    • 类型：mc2
      值：70.82
      来源：
      URL：同上
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5样本）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证
    参数：
    样本数：5
    指标：

    • 类型：准确率
      值：82.48
      名称：准确率
      来源：
      URL：同上
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5样本）
    类型：gsm8k
    配置：main
    拆分：测试
    参数：
    样本数：5
    指标：

    • 类型：准确率
      值：65.43
      名称：准确率
      来源：
      URL：同上
      名称：开放LLM排行榜

Excalibur-7b-DPO

这是对微调领域的初步探索。本次发布的目标是提升原始模型回答的质量，特别是在视觉应用场景中*

加权（重要性矩阵）量化版本可在此处获取：链接

静态（传统）量化版本可在此处获取：链接

说明与方法

• 使用Intel/orca_dpo_pairs数据集，通过直接偏好优化（DPO）对Excalibur-7b进行微调
• 本实验旨在评估DPO微调对Excelsior-7b基础模型的影响
• 在单块A100上运行约1小时
• 微调成功使模型更具对话性和全面性
• 基准测试分数较基础Excelsior-7b在以下类别中有所提升：
  • ARC：69.71 → 70.9
  • HellaSwag：87.56 → 87.93
  • TruthfulQA：67.24 → 70.82
  • 平均分：73.6 → 73.84
• 精度：bfloat16

示例问题 - 视觉

*需要额外的mmproj文件。视觉功能有两种选择（本仓库内提供）：

• 量化版 - 低显存选项（197MB）
• 未量化版 - 高质量选项（596MB）

在Koboldcpp中按常规选择gguf文件后，请确保在模型子菜单的LLaVA mmproj字段中选择上述mmproj文件：

提示格式

• 为获得最佳效果，请使用ChatML作为提示格式。Alpaca格式也可能适用。

开放LLM排行榜评估结果

详细结果请参见此处