许可证：apache-2.0
标签：

• 合并
• mergekit
• lazymergekit
• mlabonne/NeuralBeagle14-7B
• mlabonne/NeuralDaredevil-7B

模型索引：

• 名称：DareBeagle-7B
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC-Challenge
    拆分：测试集
    参数：
    小样本数量：25
    指标：

    • 类型：标准化准确率
      值：71.67
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=shadowml/DareBeagle-7B
      名称：开放大语言模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证集
    参数：
    小样本数量：10
    指标：

    • 类型：标准化准确率
      值：88.01
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=shadowml/DareBeagle-7B
      名称：开放大语言模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5样本）
    类型：cais/mmlu
    配置：全部
    拆分：测试集
    参数：
    小样本数量：5
    指标：

    • 类型：准确率
      值：65.03
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=shadowml/DareBeagle-7B
      名称：开放大语言模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0样本）
    类型：truthful_qa
    配置：多选
    拆分：验证集
    参数：
    小样本数量：0
    指标：

    • 类型：mc2
      值：68.98
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=shadowml/DareBeagle-7B
      名称：开放大语言模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5样本）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证集
    参数：
    小样本数量：5
    指标：

    • 类型：准确率
      值：82.32
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=shadowml/DareBeagle-7B
      名称：开放大语言模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5样本）
    类型：gsm8k
    配置：主测试集
    拆分：测试集
    参数：
    小样本数量：5
    指标：

    • 类型：准确率
      值：71.49
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=shadowml/DareBeagle-7B
      名称：开放大语言模型排行榜

DareBeagle-7B

DareBeagle-7B是通过LazyMergekit合并以下模型得到的：

• mlabonne/NeuralBeagle14-7B
• mlabonne/NeuralDaredevil-7B

🧩 配置

切片：  
  - 源模型：  
      - 模型：mlabonne/NeuralBeagle14-7B  
        层范围：[0, 32]  
      - 模型：mlabonne/NeuralDaredevil-7B  
        层范围：[0, 32]  
合并方法：slerp  
基础模型：mlabonne/NeuralDaredevil-7B  
参数：  
  t：  
    - 过滤器：self_attn  
      值：[0, 0.5, 0.3, 0.7, 1]  
    - 过滤器：mlp  
      值：[1, 0.5, 0.7, 0.3, 0]  
    - 值：0.45 # 其余张量的默认值  
数据类型：float16  

💻 使用方式

!pip install -qU transformers accelerate  

from transformers import AutoTokenizer  
import transformers  
import torch  

model = "shadowml/DareBeagle-7B"  
messages = [{"role": "用户", "content": "什么是大语言模型？"}]  

tokenizer = AutoTokenizer.from_pretrained(model)  
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)  
pipeline = transformers.pipeline(  
    "文本生成",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="自动",  
)  

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)  
print(outputs[0]["generated_text"])  

开放大语言模型排行榜评估结果

详细结果请参见此处