许可证：apache-2.0
标签：

• 混合专家
• 弗兰肯混合
• 模型融合
• mergekit工具
• 懒人融合工具包
• mlabonne/AlphaMonarch-7B
• FPHam/Karen_TheEditor_V2_STRICT_Mistral_7B
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• OmnicromsBrain/NeuralStar-7b-Lazy

基础模型：

• mlabonne/AlphaMonarch-7B
• FPHam/Karen_TheEditor_V2_STRICT_Mistral_7B
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• OmnicromsBrain/NeuralStar-7b-Lazy

模型索引：

• 名称：NeuralStar_AlphaWriter_4x7b
  测试结果：
  • 任务：文本生成
    数据集：AI2推理挑战赛（25样本）
    指标：标准化准确率70.22
    来源：Open LLM排行榜
  • 任务：文本生成
    数据集：HellaSwag（10样本）
    指标：标准化准确率88.31
  • 任务：文本生成
    数据集：MMLU（5样本）
    指标：准确率64.6
  • 任务：文本生成
    数据集：TruthfulQA（0样本）
    指标：mc2得分71.7
  • 任务：文本生成
    数据集：Winogrande（5样本）
    指标：准确率82.0
  • 任务：文本生成
    数据集：GSM8k（5样本）
    指标：准确率63.0

NeuralStar_AlphaWriter_4x7b

在使用NovelCrafter写作时，我被mlabonne/Beyonder-4x7B-v3的写作效果震撼。受其LLM课程启发，并借助LazyMergeKit工具，我尝试融合四个擅长创意写作的专家模型，最终诞生了NeuralStar-AlphaWriter-4x7b。

该混合专家模型（MoE）由以下模型通过懒人融合工具包构建：

• AlphaMonarch-7B
• Karen_TheEditor_V2
• Kunoichi-DPO-v2-7B
• NeuralStar-7b-Lazy

⚡ 量化模型

感谢MRadermacher提供的静态和iMatrx量化版本：

• GGUF格式：https://huggingface.co/mradermacher/NeuralStar_AlphaWriter_4x7b-GGUF
• iMatrix量化：https://huggingface.co/mradermacher/NeuralStar_AlphaWriter_4x7b-i1-GGUF
• 使用AutoGGUF生成的Q4/Q5量化模型：https://huggingface.co/OmnicromsBrain/NeuralStar_AlphaWriter_4x7b-GGUF

🧩 配置方案

基础模型: AlphaMonarch-7B  
专家分工：  
- AlphaMonarch-7B：处理对话/解释类指令  
- Karen编辑器：负责文本修订/语法检查  
- Kunoichi模型：专长故事场景/角色创作  
- NeuralStar：聚焦情节架构/代码生成  

💻 使用示例

# 安装依赖后加载4bit量化模型  
from transformers import pipeline  
model = "OmnicromsBrain/NeuralStar_AlphaWriter_4x7b"  
pipe = pipeline("text-generation", model=model, torch_dtype=torch.float16, device_map="auto")  

# 生成混合专家技术简介  
messages = [{"role":"user", "content":"用100字解释混合专家技术"}]  
print(pipe(messages, max_new_tokens=256)[0]["generated_text"])  

Open LLM排行榜成绩

详细结果见排行榜页面