许可协议: cc-by-nc-4.0
库名称: transformers
标签:

• mergekit
• merge
  基础模型:
• Sao10K/Fimbulvetr-10.7B-v1
• saishf/Kuro-Lotus-10.7B

模型索引:

• 名称: Fimbulvetr-Kuro-Lotus-10.7B
  结果:

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: AI2推理挑战赛（25样本）
    类型: ai2_arc
    配置: ARC挑战赛
    拆分: 测试集
    参数:
    少量样本数: 25
    指标:

    • 类型: 标准化准确率
      值: 69.54
      名称: 标准化准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B
      名称: 开放大模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: HellaSwag（10样本）
    类型: hellaswag
    拆分: 验证集
    参数:
    少量样本数: 10
    指标:

    • 类型: 标准化准确率
      值: 87.87
      名称: 标准化准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B
      名称: 开放大模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MMLU（5样本）
    类型: cais/mmlu
    配置: 全部
    拆分: 测试集
    参数:
    少量样本数: 5
    指标:

    • 类型: 准确率
      值: 66.99
      名称: 准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B
      名称: 开放大模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: TruthfulQA（0样本）
    类型: truthful_qa
    配置: 多项选择
    拆分: 验证集
    参数:
    少量样本数: 0
    指标:

    • 类型: mc2
      值: 60.95
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B
      名称: 开放大模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: Winogrande（5样本）
    类型: winogrande
    配置: winogrande_xl
    拆分: 验证集
    参数:
    少量样本数: 5
    指标:

    • 类型: 准确率
      值: 84.14
      名称: 准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B
      名称: 开放大模型排行榜

  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: GSM8k（5样本）
    类型: gsm8k
    配置: 主要
    拆分: 测试集
    参数:
    少量样本数: 5
    指标:

    • 类型: 准确率
      值: 66.87
      名称: 准确率
      来源:
      网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=saishf/Fimbulvetr-Kuro-Lotus-10.7B
      名称: 开放大模型排行榜

• 这个模型融合了我个人最喜欢的两个模型，既然难以抉择，何不兼收并蓄？由于GPU资源有限，未采用MOE架构 :3

• 根据我的测试，该模型能产生类似Kuro-Lotus的效果，且无需高度详细的人物设定卡，在长达8K的上下文对话中仍能保持连贯性。

• 我个人在Silly Tavern中使用"Universal Light"预设模板，使用"alpaca"模板时回答可能较短，但改用"alpaca roleplay"模板后回答会更详尽。

• "Universal Light"预设模板极具创造力，但有时会替用户做出反应（尤其配合某些角色卡时），此时改用"default"预设即可——实际上任何预设模板都能良好运作！

融合说明

本模型使用mergekit工具对预训练语言模型进行融合。

融合细节

融合方法

采用SLERP球面线性插值融合法。

参与融合的模型

包含以下模型：

• Sao10K/Fimbulvetr-10.7B-v1
• saishf/Kuro-Lotus-10.7B

配置参数

生成本模型所用的YAML配置如下：

切片:  
  - 源模型:  
      - 模型: saishf/Kuro-Lotus-10.7B  
        层级范围: [0, 48]  
      - 模型: Sao10K/Fimbulvetr-10.7B-v1  
        层级范围: [0, 48]  
融合方法: slerp  
基础模型: saishf/Kuro-Lotus-10.7B  
参数:  
  t:  
    - 过滤器: self_attn  
      取值: [0.6, 0.7, 0.8, 0.9, 1]  
    - 过滤器: mlp  
      取值: [0.4, 0.3, 0.2, 0.1, 0]  
    - 取值: 0.5  
数据类型: bfloat16  

开放大模型排行榜评估结果

详细结果参见此处