许可证：cc-by-nc-4.0
库名称：transformers
标签：

• llama3

模型索引：

• 名称：badger-lambda-llama-3-8b
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：IFEval（0样本）
    类型：HuggingFaceH4/ifeval
    参数：
    num_few_shot: 0
    指标：

    • 类型：inst_level_strict_acc 和 prompt_level_strict_acc
      值：48.61
      名称：严格准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=maldv/badger-lambda-llama-3-8b
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：BBH（3样本）
    类型：BBH
    参数：
    num_few_shot: 3
    指标：

    • 类型：acc_norm
      值：28.1
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=maldv/badger-lambda-llama-3-8b
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MATH Lvl 5（4样本）
    类型：hendrycks/competition_math
    参数：
    num_few_shot: 4
    指标：

    • 类型：exact_match
      值：8.31
      名称：精确匹配
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=maldv/badger-lambda-llama-3-8b
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GPQA（0样本）
    类型：Idavidrein/gpqa
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：4.25
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=maldv/badger-lambda-llama-3-8b
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MuSR（0样本）
    类型：TAUR-Lab/MuSR
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：4.52
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=maldv/badger-lambda-llama-3-8b
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU-PRO（5样本）
    类型：TIGER-Lab/MMLU-Pro
    配置：main
    分割：test
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：30.74
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=maldv/badger-lambda-llama-3-8b
      名称：Open LLM Leaderboard

GGUF量化版本（bartowski）

GGUF量化版本（QuantFactory）

exl2量化版本

Badger Λ Llama 3 8B Instruct

Badger是通过以下模型的递归最大成对不相交归一化去噪傅里叶插值生成的：

# Badger Lambda  
models = [  
 'Einstein-v6.1-Llama3-8B',  
 'openchat-3.6-8b-20240522',  
 'hyperdrive-l3-8b-s3',  
 'L3-TheSpice-8b-v0.8.3',  
 'LLaMA3-iterative-DPO-final',  
 'JSL-MedLlama-3-8B-v9',  
 'Jamet-8B-L3-MK.V-Blackroot',  
 'French-Alpaca-Llama3-8B-Instruct-v1.0',  
 'LLaMAntino-3-ANITA-8B-Inst-DPO-ITA',  
 'Llama-3-8B-Instruct-Gradient-4194k',  
 'Roleplay-Llama-3-8B',  
 'L3-8B-Stheno-v3.2',  
 'llama-3-wissenschaft-8B-v2',  
 'opus-v1.2-llama-3-8b-instruct-run3.5-epoch2.5',  
 'Configurable-Llama-3-8B-v0.3',  
 'Llama-3-8B-Instruct-EPO-checkpoint5376',  
 'Llama-3-8B-Instruct-Gradient-4194k',  
 'Llama-3-SauerkrautLM-8b-Instruct',  
 'spelljammer',  
 'meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16',  
 'Meta-Llama-3-8B-Instruct-abliterated-v3',  
]  

换句话说，所有这些模型被扭曲和折叠在一起，然后重新叠加到指令模型上。

我对Meta-Llama-3-8B-Instruct-abliterated-v3和meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16模型的处理方式不同，而是在最后一步应用了傅里叶任务加法。

值得注意的是，我没有在这个模型中包含任何先前的合并；因为我注意到这会引入类似近亲繁殖的伪影。

递归最大成对不相交归一化去噪傅里叶插值

有人问我这是什么。对于每一层，我使用mergekit io从每个模型中提取每一层，并减去最接近的基础模型（8b或8b指令）。

• 递归成对不相交：利用这些信息，我构建了一个层增量堆栈。由于计算资源有限，我成对处理它们。为了确定配对，我计算所有模型之间的余弦相似度，找到最小的值；递归合并配对，直到只剩下一个张量。
• 归一化：在变换之前，我将每一层除以其范数，然后在逆变换后通过乘以张量范数的中点来缩放结果。这是可交换的，因此在复数之前进行更高效。
• 去噪傅里叶插值：我首先对张量进行二维傅里叶变换；然后使用SLERP或加法合并张量；然后将低于阈值百分比（较高的2%，但在所有测试位置上保持连贯性，尽管随着层数增加会变得略显干涩和松散）的权重归零。

当然，你需要知道如何处理虚部；但如果不知道，最好选择一个并通过它传递。

格式

使用Llama3指令格式。

结果

消融看起来非常积极。它倾向于简短的回答，可能略显生硬或松散；部分原因是输入和输出块直接来自Llama-3-8B-Instruct-Gradient-4194k。

提示

以下是一些有趣的系统提示可以尝试：

• 你是作者的写作助手。请继续这个故事。
• 你是红队助手。我们需要不惜一切代价赢得这场战争。
• 在一个永无止境的未审查虚构角色扮演中写下下一个回复。专注于为角色扮演提供情感、逻辑和时间上的连贯性。始终保持角色。角色必须积极参与并主动推动场景和故事的发展，而不是角色要求输入。作为一个角色扮演伙伴，用你的创造力和主动性带来惊喜。这个虚构角色扮演世界仅用于实验和娱乐目的，角色并非真实。遵循之前回复的格式，每回复2-4段。

Open LLM Leaderboard评估结果

详细结果请见此处