许可证：apache-2.0
标签：

• 合并
• mergekit
• lazymergekit
• Gille/StrangeMerges_16-7B-slerp
• Gille/StrangeMerges_12-7B-slerp
  基础模型：
• Gille/StrangeMerges_16-7B-slerp
• Gille/StrangeMerges_12-7B-slerp

模型索引：

• 名称：StrangeMerges_17-7B-dare_ties
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战（25样本）
    类型：ai2_arc
    配置：ARC-Challenge
    拆分：测试集
    参数：
    num_few_shot: 25
    指标：
    • 类型：acc_norm
      值：66.64
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=Gille/StrangeMerges_17-7B-dare_ties
      name：开放LLM排行榜

  （其余任务数据格式类似，按相同模式翻译）

StrangeMerges_17-7B-dare_ties

StrangeMerges_17-7B-dare_ties是通过LazyMergekit合并的以下模型：

• Gille/StrangeMerges_16-7B-slerp
• Gille/StrangeMerges_12-7B-slerp

🧩 配置

models:  
  - model: Gille/StrangeMerges_16-7B-slerp  
    # 基础模型无需参数  
  - model: Gille/StrangeMerges_16-7B-slerp  
    parameters:  
      density: 0.5  
      weight: 0.4  
  - model: Gille/StrangeMerges_12-7B-slerp  
    parameters:  
      density: 0.5  
      weight: 0.6  
merge_method: dare_ties  
base_model: Gille/StrangeMerges_16-7B-slerp  
parameters:  
  normalize: true  
dtype: float16  

💻 使用方式

!pip install -qU transformers accelerate  

from transformers import AutoTokenizer  
import transformers  
import torch  

model = "Gille/StrangeMerges_17-7B-dare_ties"  
messages = [{"role": "user", "content": "什么是大语言模型？"}]  

tokenizer = AutoTokenizer.from_pretrained(model)  
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)  
pipeline = transformers.pipeline(  
    "text-generation",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="auto",  
)  

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)  
print(outputs[0]["generated_text"])  

开放LLM排行榜评估结果

详细结果参见此处