license: apache-2.0
tags:

• 模型融合
• mergekit工具
• mistral模型
• 7B参数规模
• lazymergekit工具
• mistralai/Mistral-7B-Instruct-v0.2指令微调版
• maywell/Synatra-7B-v0.3-RP角色扮演版

Synatra-7B-v0.3-RP-Mistral-7B-Instruct-v0.2-slerp融合模型

本模型是由以下两个模型通过球面线性插值(slerp)融合而成：

• mistralai/Mistral-7B-Instruct-v0.2（指令微调版）
• maywell/Synatra-7B-v0.3-RP（角色扮演版）

🧩 融合配置

切片配置:
  - 源模型:
      - 模型: mistralai/Mistral-7B-Instruct-v0.2
        层范围: [0, 32]
      - 模型: maywell/Synatra-7B-v0.3-RP
        层范围: [0, 32]
融合方法: slerp球面线性插值
基础模型: mistralai/Mistral-7B-Instruct-v0.2
参数设置:
  插值系数t:
    - 过滤器: self_attn自注意力层
      取值: [0, 0.5, 0.3, 0.7, 1]
    - 过滤器: mlp多层感知机
      取值: [1, 0.5, 0.7, 0.3, 0]
    - 默认值: 0.5
数据类型: bfloat16

💻 使用示例

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "MaziyarPanahi/Synatra-7B-v0.3-RP-Mistral-7B-Instruct-v0.2-slerp"
messages = [{"role": "用户", "content": "什么是大语言模型？"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "文本生成",
    model=model,
    torch_dtype=torch.float16,
    device_map="自动分配",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])