许可证：其他
标签：

• 混合专家模型
• 模型融合
• mergekit工具
• Mistral框架
• openchat/openchat-3.5-1210
• beowolx/CodeNinja-1.0-OpenChat-7B
• maywell/PiVoT-0.1-Starling-LM-RP
• WizardLM/WizardMath-7B-V1.1
  许可证名称：微软研究院许可证
  许可证链接：https://huggingface.co/WizardLM/WizardMath-7B-V1.1/resolve/main/LICENSE

模型索引：

• 名称：Beyonder-4x7B-v2
  测试结果：
  • 任务：文本生成
    数据集：AI2推理挑战赛（25样本）
    指标：标准化准确率68.77
    来源：Open LLM排行榜
  • 任务：文本生成
    数据集：HellaSwag（10样本）
    指标：标准化准确率86.8
  • 任务：文本生成
    数据集：MMLU（5样本）
    指标：准确率65.1
  • 任务：文本生成
    数据集：TruthfulQA（0样本）
    指标：mc2得分60.68
  • 任务：文本生成
    数据集：Winogrande（5样本）
    指标：准确率80.9
  • 任务：文本生成
    数据集：GSM8k（5样本）
    指标：准确率71.72

Beyonder-4x7B-v2

本模型采用mergekit的mixtral分支构建，是基于以下基础模型的混合专家系统（MoE）：

• openchat/openchat-3.5-1210
• beowolx/CodeNinja-1.0-OpenChat-7B
• maywell/PiVoT-0.1-Starling-LM-RP
• WizardLM/WizardMath-7B-V1.1

推荐上下文长度为8k。

⚡ 量化模型

感谢TheBloke提供的量化版本：

• GGUF格式：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-GGUF
• AWQ格式：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-AWQ
• GPTQ格式：https://huggingface.co/TheBloke/Beyonder-4x7B-v2-GPTQ
• EXL2格式：https://huggingface.co/bartowski/Beyonder-4x7B-v2-exl2

🏆 性能评估

Beyonder-4x7B-v2在Open LLM排行榜上与Mixtral-8x7B-Instruct-v0.1表现相当，但仅使用4个专家模块（而非8个）。

相较于单个专家模型有显著提升：

在Nous基准测试中表现优异，接近参数规模更大的Yi-34B微调模型（实际推理时仅激活约12B参数 vs. 34B总参数）：

（具体测试数据表格保留原始格式）

🧩 配置方案

base_model: mlabonne/Marcoro14-7B-slerp  
experts:  
  - 专家1：对话场景  
  - 专家2：编程场景  
  - 专家3：创意写作  
  - 专家4：数学推理  

💻 使用指南

可通过Colab笔记本免费调用T4 GPU运行4bit量化模型：

# 安装依赖后加载模型  
pipeline = transformers.pipeline(  
    "text-generation",  
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True}  
)  

# 示例：用100字解释混合专家系统  
outputs = pipeline(prompt, max_new_tokens=256, temperature=0.7)  

输出示例：

混合专家系统（ME）通过组合多个专业模型进行预测，每个模型专注不同问题领域，最终综合各专家输出形成更精准的解决方案。该方法能优势互补，显著提升整体性能。