许可证：apache-2.0
标签：

• 混合专家模型
• 弗兰肯混合
• 模型融合
• mergekit工具
• 懒人融合工具包
• NousResearch/Nous-Hermes-2-Mistral-7B-DPO
• NeverSleep/Noromaid-7B-0.4-DPO
• mistralai/Mistral-7B-Instruct-v0.2
  基础模型：
• NousResearch/Nous-Hermes-2-Mistral-7B-DPO
• NeverSleep/Noromaid-7B-0.4-DPO
• mistralai/Mistral-7B-Instruct-v0.2

Noro-Hermes-3x7B

Noro-Hermes-3x7B 是一个采用懒人融合工具包构建的混合专家模型（MoE），融合了以下模型：

• NousResearch/Nous-Hermes-2-Mistral-7B-DPO
• NeverSleep/Noromaid-7B-0.4-DPO
• mistralai/Mistral-7B-Instruct-v0.2

🧩 配置

基础模型: mistralai/Mistral-7B-Instruct-v0.2  
数据类型: bfloat16  
门控模式: hidden  
专家模块:  
  - 源模型: NousResearch/Nous-Hermes-2-Mistral-7B-DPO  
    正向提示: ["你是一个智能助手。"]  
  - 源模型: NeverSleep/Noromaid-7B-0.4-DPO  
    正向提示: ["你是一个创意角色扮演助手。"]  
  - 源模型: mistralai/Mistral-7B-Instruct-v0.2  
    正向提示: ["你是一个通用助手。"]  

💻 使用方式

!pip install -qU transformers bitsandbytes accelerate  

from transformers import AutoTokenizer  
import transformers  
import torch  

模型 = "ThomasComics/Noro-Hermes-3x7B"  

分词器 = AutoTokenizer.from_pretrained(模型)  
生成管道 = transformers.pipeline(  
    "文本生成",  
    model=模型,  
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},  
)  

消息 = [{"role": "用户", "content": "用不到100字解释什么是混合专家模型。"}]  
输入模板 = 生成管道.tokenizer.apply_chat_template(消息, tokenize=False, add_generation_prompt=True)  
输出结果 = 生成管道(输入模板, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)  
print(输出结果[0]["generated_text"])