许可证：apache-2.0
标签：

• 合并
• mergekit
• lazymergekit

模型索引：

• 名称：StrangeMerges_53-7B-model_stock
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战（25-Shot）
    类型：ai2_arc
    配置：ARC-Challenge
    拆分：测试
    参数：
    num_few_shot: 25
    指标：

    • 类型：acc_norm
      值：72.78
      名称：归一化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_53-7B-model_stock
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10-Shot）
    类型：hellaswag
    拆分：验证
    参数：
    num_few_shot: 10
    指标：

    • 类型：acc_norm
      值：88.46
      名称：归一化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_53-7B-model_stock
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5-Shot）
    类型：cais/mmlu
    配置：all
    拆分：测试
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：64.97
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_53-7B-model_stock
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0-shot）
    类型：truthful_qa
    配置：multiple_choice
    拆分：验证
    参数：
    num_few_shot: 0
    指标：

    • 类型：mc2
      值：73.86
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_53-7B-model_stock
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5-shot）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：83.66
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_53-7B-model_stock
      名称：Open LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5-shot）
    类型：gsm8k
    配置：main
    拆分：测试
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：72.71
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_53-7B-model_stock
      名称：Open LLM排行榜

StrangeMerges_53-7B-model_stock

StrangeMerges_53-7B-model_stock 是使用 LazyMergekit 合并以下模型的结果：

🧩 配置

models:  
  - model: Gille/StrangeMerges_52-7B-dare_ties  
  - model: rwitz/experiment26-truthy-iter-0  
  - model: Gille/StrangeMerges_32-7B-slerp  
  - model: AurelPx/Percival_01-7b-slerp  
  - model: Kukedlc/NeuralMaths-Experiment-7b  
merge_method: model_stock  
base_model: Gille/StrangeMerges_52-7B-dare_ties  
dtype: bfloat16  

💻 使用方法

!pip install -qU transformers accelerate  

from transformers import AutoTokenizer  
import transformers  
import torch  

model = "Gille/StrangeMerges_53-7B-model_stock"  
messages = [{"role": "user", "content": "什么是大语言模型？"}]  

tokenizer = AutoTokenizer.from_pretrained(model)  
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)  
pipeline = transformers.pipeline(  
    "text-generation",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="auto",  
)  

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)  
print(outputs[0]["generated_text"])  

Open LLM 排行榜评估结果

详细结果可查看此处