license: other tags:

• merge
• mergekit
• lazymergekit base_model:
• nbeerbower/llama-3-stella-8B
• Hastagaras/llama-3-8b-okay
• nbeerbower/llama-3-gutenberg-8B
• openchat/openchat-3.6-8b-20240522
• Kukedlc/NeuralLLaMa-3-8b-DT-v0.1
• cstr/llama3-8b-spaetzle-v20
• mlabonne/ChimeraLlama-3-8B-v3
• flammenai/Mahou-1.1-llama3-8B
• KingNish/KingNish-Llama3-8b model-index:
• name: Daredevil-8B results:
  • task: type: text-generation name: 文本生成 dataset: name: AI2推理挑战赛（25样本） type: ai2_arc config: ARC-Challenge split: test args: num_few_shot: 25 metrics:
    • type: acc_norm value: 68.86 name: 标准化准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mlabonne/Daredevil-8B name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: HellaSwag（10样本） type: hellaswag split: validation args: num_few_shot: 10 metrics:
    • type: acc_norm value: 84.5 name: 标准化准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mlabonne/Daredevil-8B name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: MMLU（5样本） type: cais/mmlu config: all split: test args: num_few_shot: 5 metrics:
    • type: acc value: 69.24 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mlabonne/Daredevil-8B name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: TruthfulQA（0样本） type: truthful_qa config: multiple_choice split: validation args: num_few_shot: 0 metrics:
    • type: mc2 value: 59.89 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mlabonne/Daredevil-8B name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: Winogrande（5样本） type: winogrande config: winogrande_xl split: validation args: num_few_shot: 5 metrics:
    • type: acc value: 78.45 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mlabonne/Daredevil-8B name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: GSM8k（5样本） type: gsm8k config: main split: test args: num_few_shot: 5 metrics:
    • type: acc value: 73.54 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mlabonne/Daredevil-8B name: 开放大模型排行榜

Daredevil-8B

Daredevil-8B 是一个专为最大化 MMLU 得分而设计的超级融合模型。截至 2024 年 5 月 27 日，它是 MMLU 得分最高 的 Llama 3 8B 模型。根据我的经验，对于 Llama 3 模型来说，高 MMLU 得分就是一切。

该模型使用 LazyMergekit 融合了以下模型：

• nbeerbower/llama-3-stella-8B
• Hastagaras/llama-3-8b-okay
• nbeerbower/llama-3-gutenberg-8B
• openchat/openchat-3.6-8b-20240522
• Kukedlc/NeuralLLaMa-3-8b-DT-v0.1
• cstr/llama3-8b-spaetzle-v20
• mlabonne/ChimeraLlama-3-8B-v3
• flammenai/Mahou-1.1-llama3-8B
• KingNish/KingNish-Llama3-8b

感谢 nbeerbower、Hastagaras、openchat、Kukedlc、cstr、flammenai 和 KingNish 提供的融合模型。特别感谢 Charles Goddard 和 Arcee.ai 开发的 MergeKit。

🔎 应用场景

您可以将其作为 meta-llama/Meta-Llama-3-8B-Instruct 的增强版使用。

这是一个经过内容审查的模型。如需未经审查的版本，请查看 mlabonne/Daredevil-8B-abliterated。

已在 LM Studio 中使用 "Llama 3" 预设进行测试。

⚡ 量化版本

• GGUF 格式: https://huggingface.co/mlabonne/Daredevil-8B-GGUF

🏆 评估结果

开放大模型排行榜

截至 2024 年 5 月 27 日，Daredevil-8B 在开放大模型排行榜的 MMLU 指标上是表现最佳的 8B 模型。

Nous 评测

Daredevil-8B 在 Nous 的基准测试套件中是表现最佳的 8B 模型（使用 LLM AutoEval 进行评估，2024 年 5 月 27 日）。完整排行榜请见此处。

🌳 模型族谱

🧩 配置参数

models:
  - model: NousResearch/Meta-Llama-3-8B
    # 基础模型无需参数
  - model: nbeerbower/llama-3-stella-8B
    parameters:
      density: 0.6
      weight: 0.16
  - model: Hastagaras/llama-3-8b-okay
    parameters:
      density: 0.56
      weight: 0.1
  - model: nbeerbower/llama-3-gutenberg-8B
    parameters:
      density: 0.6
      weight: 0.18
  - model: openchat/openchat-3.6-8b-20240522
    parameters:
      density: 0.56
      weight: 0.12
  - model: Kukedlc/NeuralLLaMa-3-8b-DT-v0.1
    parameters:
      density: 0.58
      weight: 0.18
  - model: cstr/llama3-8b-spaetzle-v20
    parameters:
      density: 0.56
      weight: 0.08
  - model: mlabonne/ChimeraLlama-3-8B-v3
    parameters:
      density: 0.56
      weight: 0.08
  - model: flammenai/Mahou-1.1-llama3-8B
    parameters:
      density: 0.55
      weight: 0.05
  - model: KingNish/KingNish-Llama3-8b
    parameters:
      density: 0.55
      weight: 0.05
merge_method: dare_ties
base_model: NousResearch/Meta-Llama-3-8B
dtype: bfloat16

💻 使用示例

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "mlabonne/Daredevil-8B"
messages = [{"role": "user", "content": "什么是大语言模型？"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])