🚀 Qwen2.5 / Mistral- MOE 多语言编程模型仓库

本仓库包含 44 种不同的混合专家（MOE）量化模型（部分非 MOE 模型），适用于多种计算机语言的编码和编程。这些模型参数范围从 6B 到 60B，涵盖了所有主要的编码语言，也包括许多次要语言。虽然这些模型可用于其他场景，但主要用途为“编码”。

🚀 快速开始

本仓库中的模型为编码和编程提供了强大支持。你可以根据自己的需求选择合适的模型进行使用。若需调整活跃专家数量，可参考文档：How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts。

✨ 主要特性

• 多语言支持：涵盖所有主流和许多小众的编码语言。
• 多种参数规模：参数范围从 6B 到 60B，可满足不同需求。
• MOE 架构：多数为 Qwen2.5 MOE 模型，部分为 Mistral MOE 编码器。
• 稳定可靠：模型经过精心挑选和测试，均为“Class 1”MOE，完全稳定。
• 支持工具使用：可在编码过程中使用相关工具。
• 推理功能：部分模型支持推理功能，如 Mistral 的部分模型。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

文档未提供具体代码示例，暂不展示。

📚 详细文档

模型概述

本仓库的模型主要分为以下几类：

1. Blitzar - Coder 系列：基于 Qwen3 的编码模型，具有不同的参数配置和融合方式，上下文长度为 40k。
2. Jan - Nano 系列：基于 Qwen3 的通用模型，也可用于编码，上下文长度为 128k。
3. Devstrals 系列：Mistral 相关的编码器模型，通过不同倍数的 Brainstorm 提升性能。
4. Microsoft NextCODERs 系列：基于 Qwen2.5 的微软编码模型，添加了 Brainstorm 20x。
5. Nvidia Open Coders 系列：包括多个基于 Qwen3 和 Nemo Opencoder 的编码模型，支持推理指令编码器生成。
6. MOE 系列：包含不同参数配置的 MOE 模型，如 3x7B、2x7B、2x24B 等。

具体模型介绍

• Blitzar - Coder 系列

  • Qwen3 - 4B - Blitzar - Coder - 4B - F.1 - bs20 - 2 - Q6_K.gguf：6B 参数，55 层，与 Blitzar - Coder（Qwen3）在 40k 上下文融合。
  • Qwen3 - 4B - Blitzar - Coder - 4B - F.1 - 75 - 75 - merge - Q6_K.gguf：5.85B 参数，54 层，Blitzar - Coder 与 Qwen3 Instruct 4B 以 75%/75% 融合，40k 上下文。
  • Qwen3 - 4B - Blitzar - Coder - 4B - F.1 - 75 - 75 - merge - 20 - 2 - Q6_K.gguf：7.75B 参数，73 层，融合了 Brainstrom 20x、Blitzar - Coder（Qwen3）和 Qwen3 Instruct 4b，40k 上下文。

• Jan - Nano 系列

  • Qwen3 - 4B - Jan - nano - 128k - 4B - bs20 - 2 - Q6_K.gguf：6B 参数，55 层，与 Jan - Nano（Qwen3）在 128k 上下文融合，是通用模型。
  • Qwen3 - 4B - Jan - nano - 128k - 4B - 75 - 75 - merge - Q6_K.gguf：5.85B 参数，54 层，Jan - Nano 与 Qwen3 Instruct 4B 以 75%/75% 融合，128k 上下文，通用模型。
  • Qwen3 - 4B - Jan - nano - - 2 - - 128k - 4B - 75 - 75 - merge - 20 - 2 - Q6_K.gguf：7.75B 参数，73 层，融合了 Brainstrom 20x、Jan - Nano（Qwen3）和 Qwen3 Instruct 4b，128k 上下文，通用模型，意外激活了思考功能。

• Devstrals 系列

  • Mistral - Devstral - Small - 2507 - bs20 - 2 - Q2_K.gguf：34B 参数，应用 Brainstorm 20x 提升性能。
  • Mistral - Devstral - Small - 2507 - bs40 - 3 - v1.4 - Q2_K.gguf：44B 参数，应用 Brainstorm 40x（1.4）提升性能。
  • Mistral - Devstral - Small - 2505 - bs20 - 2 - Q2_K.gguf：34B 参数，应用 Brainstorm 20x 提升性能。
  • Mistral - Devstral - Small - 2505 - bs40 - 3 - v1.4 - Q2_K.gguf：44B 参数，应用 Brainstorm 40x（1.4）提升性能。

• Microsoft NextCODERs 系列

  • Qwen2.5 - 7B - MS - Next - Coder - bs20 - 2 - Q6_K.gguf：12B 参数，7B 微软 Next - Coder 添加 Brainstorm 20x。
  • Qwen2.5 - 14B - MS - Next - Coder - bs20 - 2 - Q5_K_S.gguf：20B 参数，14B 微软 Next - Coder 添加 Brainstorm 20x。
  • Qwen2.5 - 32B - MS - Next - Coder - bs20 - 2 - Q4_K_S.gguf：40B 参数，32B 微软 Next - Coder 添加 Brainstorm 20x。

• Nvidia Open Coders 系列

  • Qwen2.5 - 7B - Nemo - OpenCoder - bs20 - 2 - Q6_K.gguf：12B 参数，7B Opencoder Nemo 添加 Brainstorm 20x，支持自动推理。
  • Qwen3 - OpenCoder - Multi - exp5 - 11 - Q6_K.gguf：8.5B 参数，通过 Brainstorm 5x 矩阵思维系列与多个 7B 模型融合，支持推理指令编码器生成。
  • Qwen3 - OpenCoder - Multi - exp5 - 11 - v2 - Q6_K.gguf：8.5B 参数，与上一模型类似，但 MSCoder 7b 使用 2 倍。
  • Qwen3 - OpenCoder - Multi - 14B - exp5 - 11 - Q6_K.gguf：16B 参数，基于 14B Nemo Opencoder 与其他模型融合，支持推理指令编码器生成。
  • Qwen3 - OpenCoder - Multi - 32B - exp5 - 11 - Q4_K_S.gguf：35B 参数，基于 32B Nemo Opencoder 与其他模型融合，支持推理指令编码器生成。
  • Qwen3 - OpenCoder - Multi - 32B - exp5 - 11 - V2 - Q4_K_S.gguf：35B 参数，与上一模型类似，但 MSCoder 32b 使用 2 倍。

• MOE 系列

  • Qwen2.5 - 3X7B - QC - MS - OPY - Coder - V1 - Q4_K_S.gguf：基于 3x7B MOE，融合了 MS Next Coder、Qwen 2.5 Coder Instruct 和 Olympic Coder。
  • Qwen2.5 - 2X7B - NemoTron - TwoNemos - Coder - V1 - Q4_K_S.gguf：2x7B MOE，包含两个 OpenCoder Nemo 版本 1 和 1.1。
  • Mistral - 2X24B - Power - Coder - Devs1.1 - Q4_K_S.gguf：2x24B MOE，基于 Magistral 和 Devstral 1.1，支持推理开关，可参考“Set #Mistral 1”的系统提示开启推理。
  • Qwen2.5 - 2X7B - NemoTron - Coder - V2.9 - 0 - Q6_K.gguf：2x7B MOE，包含 Opencoder Nemo 版本 1.1 和额外的编码模型。

模型集合与版本设置

• SET #1：5 个版本，19B，2x7B MOE 带共享专家，使用不同的 Qwen 2.5 编码器模型，以 Q6 量化。
• SET #1.25：5 个版本，19B，2x7b 带共享专家，用于评估量化和张量优化。
• SET #1.5：3 个版本，13.3B，1x7B MOE 带共享专家，通过不同的共享专家设置调整性能。
• SET #1.75：2 个版本，60B，1x32B MOE 带共享专家，使用两个强大的 32B Qwen 2.5 编码器模型。
• SET #2：1 个版本，30B，4x7B MOE 带共享专家。
• SET #3：1 个版本，42B，6x7B MOE 带共享专家。
• SET #4：1 个版本，53B，8x7B MOE 带共享专家。
• Set #Mistral 1：3 个版本，44B，2x24B MOES，部分支持推理功能，需要特定的系统提示开启推理。

通用设置

• 活跃专家数量：除“1x”模型外，所有版本默认激活 2 个专家。可在 Lmstudio 和其他 AI 应用中调整活跃专家数量，范围为 1 到 8 个。建议激活更多专家以获得更好的生成效果，尤其是在使用 1 个专家时，建议进行 2 - 4 次生成。
• 共享专家激活：除“set 1”、“set 1.25”、“set 1.5”、“set 1.75”外，所有模型的共享专家激活率为 10%。
• 生成建议：模型可接受简单提示和详细指令，但对于大型项目，建议等待 Q6/Q8 量化或优化后的量化版本。
• 评估与反馈：模型评估正在进行中，量化、模型和结构可能会发生变化。完整的模型仓库将在评估期后生成。欢迎通过“Community Tab”提供反馈。

建议设置

• 温度（Temp）：0.5 到 0.7（或更低）
• 最大上下文（Max Context）：32k（最终版本将支持 32k 和 128k）
• topk：20
• topp：0.8
• minp：0.05
• 重复惩罚（rep pen）：1.1（可更低）
• 模板：Jinja Template（嵌入式）或 CHATML 模板
• 系统提示：不需要系统提示（已进行空白系统提示测试）

🔧 技术细节

模型架构

多数模型基于 Qwen 2.5 架构，部分为 Mistral 架构。Qwen2.5 MOE 模型需要“共享专家”，因此部分模型的参数规模较大或呈现奇数。

量化与性能

目前的量化版本未进行优化，优化后性能将大幅提升。例如，Mistral 2x24B 模型的初始量化版本为 q2k，性能相对较低，而后续的 q4_K_S 版本性能更强。

推理功能

部分 Mistral 模型支持推理功能，如 Mistral - 2X24B - Power - Coder - Devs1.1 - Q4_K_S.gguf，需要特定的系统提示开启推理。推理时建议使用至少 8k 的上下文窗口。

📄 许可证

本项目采用 Apache - 2.0 许可证。