免费部署！nvidia_AceInstruct-7B-GGUF模型，适用代码、数学等多领域任务

首页

Nvidia AceInstruct 7B GGUF

由 bartowski 开发

基于英伟达AceInstruct-7B模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于代码、数学和通用领域任务。

大型语言模型 #指令微调模型 #多领域通用 #高精度量化

下载量 196

发布时间 : 2/12/2025

模型简介

这是一个7B参数的指令模型，经过量化处理以降低资源需求，同时保持较高的性能。适用于文本生成、代码理解和数学推理等任务。

模型特点

多种量化选项

提供从F32到Q2_K的多种量化版本，满足不同硬件和性能需求。

高性能推理

使用imatrix量化技术，保持模型性能的同时显著减少资源占用。

广泛兼容性

支持在LM Studio、llama.cpp及基于llama.cpp的项目中运行。

嵌入和输出权重优化

部分量化版本对嵌入和输出权重进行特殊处理，进一步提升性能。

模型能力

文本生成

代码理解

数学推理

指令跟随

使用案例

编程辅助

代码生成

根据自然语言描述生成代码片段。

代码解释

解释复杂代码的功能和逻辑。

教育

数学问题解答

解决数学问题和提供解题步骤。

通用文本处理

内容创作

生成文章、故事或其他文本内容。

🚀 NVIDIA AceInstruct - 7B的Llamacpp imatrix量化版本

本项目使用 llama.cpp 的 b4688 版本进行量化。

原始模型：https://huggingface.co/nvidia/AceInstruct - 7B

所有量化模型均使用imatrix选项，并采用来自此处的数据集生成。

你可以在 LM Studio 中运行这些量化模型，也可以直接使用 llama.cpp 或任何基于llama.cpp的项目来运行。

✨ 主要特性

使用特定版本的llama.cpp进行量化处理。
提供多种量化类型的模型文件供选择。
支持在不同环境（如LM Studio、llama.cpp项目）中运行。

📦 安装指南

使用huggingface - cli下载

首先，确保你已经安装了huggingface - cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/nvidia_AceInstruct-7B-GGUF --include "nvidia_AceInstruct-7B-Q4_K_M.gguf" --local-dir ./

如果模型大小超过50GB，它会被分割成多个文件。若要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/nvidia_AceInstruct-7B-GGUF --include "nvidia_AceInstruct-7B-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如nvidia_AceInstruct - 7B - Q8_0），也可以将它们全部下载到当前目录（./）。

💻 使用示例

提示格式

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

下载文件选择

文件名	量化类型	文件大小	分割情况	描述
AceInstruct-7B-f32.gguf	f32	30.47GB	false	完整的F32权重。
AceInstruct-7B-f16.gguf	f16	15.24GB	false	完整的F16权重。
AceInstruct-7B-Q8_0.gguf	Q8_0	8.10GB	false	极高质量，通常不需要，但为最大可用量化。
AceInstruct-7B-Q6_K_L.gguf	Q6_K_L	6.52GB	false	将嵌入和输出权重量化为Q8_0。非常高质量，接近完美，推荐。
AceInstruct-7B-Q6_K.gguf	Q6_K	6.25GB	false	非常高质量，接近完美，推荐。
AceInstruct-7B-Q5_K_L.gguf	Q5_K_L	5.78GB	false	将嵌入和输出权重量化为Q8_0。高质量，推荐。
AceInstruct-7B-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高质量，推荐。
AceInstruct-7B-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高质量，推荐。
AceInstruct-7B-Q4_K_L.gguf	Q4_K_L	5.09GB	false	将嵌入和输出权重量化为Q8_0。质量良好，推荐。
AceInstruct-7B-Q4_1.gguf	Q4_1	4.87GB	false	旧格式，性能与Q4_K_S相似，但在Apple硅芯片上的每瓦令牌数有所提高。
AceInstruct-7B-Q4_K_M.gguf	Q4_K_M	4.68GB	false	质量良好，大多数用例的默认大小，推荐。
AceInstruct-7B-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	将嵌入和输出权重量化为Q8_0。质量较低但可用，适合低内存情况。
AceInstruct-7B-Q4_K_S.gguf	Q4_K_S	4.46GB	false	质量略低，但节省更多空间，推荐。
AceInstruct-7B-Q4_0.gguf	Q4_0	4.44GB	false	旧格式，支持ARM和AVX CPU推理的在线重新打包。
AceInstruct-7B-IQ4_NL.gguf	IQ4_NL	4.44GB	false	与IQ4_XS相似，但略大。支持ARM CPU推理的在线重新打包。
AceInstruct-7B-IQ4_XS.gguf	IQ4_XS	4.22GB	false	质量不错，比Q4_K_S小，性能相似，推荐。
AceInstruct-7B-Q3_K_L.gguf	Q3_K_L	4.09GB	false	质量较低但可用，适合低内存情况。
AceInstruct-7B-Q3_K_M.gguf	Q3_K_M	3.81GB	false	低质量。
AceInstruct-7B-IQ3_M.gguf	IQ3_M	3.57GB	false	中低质量，新方法，性能与Q3_K_M相当。
AceInstruct-7B-Q2_K_L.gguf	Q2_K_L	3.55GB	false	将嵌入和输出权重量化为Q8_0。质量非常低，但出人意料地可用。
AceInstruct-7B-Q3_K_S.gguf	Q3_K_S	3.49GB	false	低质量，不推荐。
AceInstruct-7B-IQ3_XS.gguf	IQ3_XS	3.35GB	false	质量较低，新方法，性能不错，略优于Q3_K_S。
AceInstruct-7B-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	质量较低，新方法，性能不错，与Q3量化相当。
AceInstruct-7B-Q2_K.gguf	Q2_K	3.02GB	false	质量非常低，但出人意料地可用。
AceInstruct-7B-IQ2_M.gguf	IQ2_M	2.78GB	false	质量相对较低，使用了最先进的技术，出人意料地可用。