标签:

• 合并
• mergekit
• lazymergekit
• abideen/AlphaMonarch-dora 基础模型:
• abideen/AlphaMonarch-dora 许可证: cc-by-nc-4.0 语言:
• 德语
• 英语

Spaetzle-v60-7b

这是一个渐进式合并模型（主要采用dare-ties方法，部分使用slerp），旨在为英语和德语本地任务提供合适的折衷方案。

Spaetzle-v60-7b是使用LazyMergekit合并以下模型的结果：

• abideen/AlphaMonarch-dora
• cstr/Spaetzle-v58-7b

基准测试

目前性能表现良好：例如在EQ-Bench测试中，得分（v2_de）为65.08（可解析值：171.0）。

来自Occiglot欧洲大语言模型排行榜的数据：

在低比特量化开放大语言模型排行榜中，int4-inc量化版本的表现：

污染检查结果（参考模型：Mistral instruct 7b v0.1）：

• MMLU: 结果 < 0.1, 百分比: 0.19
• TruthfulQA: 结果 < 0.1, 百分比: 0.34
• GSM8k: 结果 < 0.1, 百分比: 0.39

🧩 配置

models:
  - model: cstr/Spaetzle-v58-7b
    # 基础模型无需参数
  - model: abideen/AlphaMonarch-dora
    parameters:
      density: 0.60
      weight: 0.30
merge_method: dare_ties
base_model: cstr/Spaetzle-v58-7b
parameters:
  int8_mask: true
dtype: bfloat16
random_seed: 0
tokenizer_source: base

💻 使用方式

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "cstr/Spaetzle-v60-7b"
messages = [{"role": "user", "content": "什么是大语言模型？"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])