🚀 Mistral-NeMo-Minitron-8B-Base-IMat-GGUF

本项目是对nvidia/Mistral-NeMo-Minitron-8B-Base模型进行llama.cpp imatrix量化的成果，为模型的使用和部署提供了更多选择。

🚀 快速开始

模型信息

原始模型信息

• 原始模型：nvidia/Mistral-NeMo-Minitron-8B-Base
• 原始数据类型：BF16 (bfloat16)
• 量化工具：llama.cpp b3613
• IMatrix数据集：点击查看

文档目录

• 文件信息
  • IMatrix文件
  • 常用量化文件
  • 所有量化文件
• 使用huggingface-cli下载模型
• 推理使用说明
  • 使用Llama.cpp进行推理
• 常见问题解答
  • 为什么IMatrix没有应用到所有地方？
  • 如何合并拆分的GGUF文件？

📦 文件信息

IMatrix

• 状态：✅ 可用
• 链接：点击查看

常用量化文件

所有量化文件

📦 安装指南

使用huggingface-cli下载模型

安装huggingface-cli

如果你尚未安装huggingface-cli，可以使用以下命令进行安装：

pip install -U "huggingface_hub[cli]"

下载指定文件

使用以下命令下载你需要的特定文件：

huggingface-cli download legraphista/Mistral-NeMo-Minitron-8B-Base-IMat-GGUF --include "Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf" --local-dir ./

下载拆分文件

如果模型文件较大，已被拆分为多个文件，可使用以下命令将所有文件下载到本地文件夹：

huggingface-cli download legraphista/Mistral-NeMo-Minitron-8B-Base-IMat-GGUF --include "Mistral-NeMo-Minitron-8B-Base.Q8_0/*" --local-dir ./
# 合并GGUF文件的方法请参考常见问题解答

💻 使用示例

使用Llama.cpp进行推理

llama.cpp/main -m Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf --color -i -p "prompt here"

📚 详细文档

常见问题解答

为什么IMatrix没有应用到所有地方？

根据这项调查，似乎只有较低的量化级别能从imatrix输入中受益（根据hellaswag结果）。

如何合并拆分的GGUF文件？

1. 确保你已经获取了gguf-split工具：
   • 访问https://github.com/ggerganov/llama.cpp/releases 。
   • 从最新版本中下载适合你系统的zip文件。
   • 解压文件后，你应该能找到gguf-split工具。
2. 找到你的GGUF文件块所在的文件夹（例如：Mistral-NeMo-Minitron-8B-Base.Q8_0）。
3. 运行以下命令合并文件：

gguf-split --merge Mistral-NeMo-Minitron-8B-Base.Q8_0/Mistral-NeMo-Minitron-8B-Base.Q8_0-00001-of-XXXXX.gguf Mistral-NeMo-Minitron-8B-Base.Q8_0.gguf

请确保将gguf-split指向拆分文件的第一个块。

如果你有任何建议，欢迎在 @legraphista 联系我！