Nvidia AceReason Nemotron 7B GGUF

由 bartowski 开发

AceReason-Nemotron-7B 是一个基于 Nemotron 架构的 7B 参数规模的大型语言模型，提供多种量化版本以适应不同硬件需求。

大型语言模型开源协议:其他 #多精度量化 #推理优化 #低资源部署

下载量 209

发布时间 : 5/26/2025

模型介绍

内容详情

替代品

模型简介

该模型主要用于文本生成和推理任务，支持多种量化选项以优化性能和资源使用。

模型特点

多种量化选项

提供从 BF16 到 Q2_K 的多种量化版本，适应不同硬件和性能需求。

高性能推理

支持嵌入和输出权重量化为 Q8_0，提升推理性能。

硬件优化

支持 ARM 和 AVX 机器的在线重新打包功能，优化内存使用和性能。

推荐量化版本

提供多个推荐量化版本（如 Q6_K_L、Q5_K_M 等），平衡性能和资源使用。

模型能力

文本生成

推理任务

多语言支持

使用案例

文本生成

内容创作

生成高质量的文章、故事或其他文本内容。

对话系统

用于构建智能对话机器人。

推理任务

逻辑推理

解决复杂的逻辑和推理问题。

从以下链接下载文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
AceReason-Nemotron-7B-bf16.gguf	bf16	15.24GB	false	完整的BF16权重。
AceReason-Nemotron-7B-Q8_0.gguf	Q8_0	8.10GB	false	极高品质，通常不需要但为最高可用量化。
AceReason-Nemotron-7B-Q6_K_L.gguf	Q6_K_L	6.52GB	false	嵌入和输出权重使用Q8_0。极高品质，近乎完美，推荐。
AceReason-Nemotron-7B-Q6_K.gguf	Q6_K	6.25GB	false	极高品质，近乎完美，推荐。
AceReason-Nemotron-7B-Q5_K_L.gguf	Q5_K_L	5.78GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
AceReason-Nemotron-7B-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高品质，推荐。
AceReason-Nemotron-7B-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高品质，推荐。
AceReason-Nemotron-7B-Q4_K_L.gguf	Q4_K_L	5.09GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
AceReason-Nemotron-7B-Q4_1.gguf	Q4_1	4.87GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上每瓦特生成的令牌数有所提升。
AceReason-Nemotron-7B-Q4_K_M.gguf	Q4_K_M	4.68GB	false	良好品质，大多数用例的默认大小，推荐。
AceReason-Nemotron-7B-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	嵌入和输出权重使用Q8_0。较低品质但可用，适合低RAM环境。
AceReason-Nemotron-7B-Q4_K_S.gguf	Q4_K_S	4.46GB	false	品质略低但节省更多空间，推荐。
AceReason-Nemotron-7B-Q4_0.gguf	Q4_0	4.44GB	false	传统格式，为ARM和AVX CPU推理提供在线重新打包功能。
AceReason-Nemotron-7B-IQ4_NL.gguf	IQ4_NL	4.44GB	false	类似IQ4_XS，但稍大。为ARM CPU推理提供在线重新打包功能。
AceReason-Nemotron-7B-IQ4_XS.gguf	IQ4_XS	4.22GB	false	品质尚可，比Q4_K_S更小且性能相似，推荐。
AceReason-Nemotron-7B-Q3_K_L.gguf	Q3_K_L	4.09GB	false	较低品质但可用，适合低RAM环境。
AceReason-Nemotron-7B-Q3_K_M.gguf	Q3_K_M	3.81GB	false	低品质。
AceReason-Nemotron-7B-IQ3_M.gguf	IQ3_M	3.57GB	false	中低品质，新方法，性能与Q3_K_M相当。
AceReason-Nemotron-7B-Q2_K_L.gguf	Q2_K_L	3.55GB	false	嵌入和输出权重使用Q8_0。非常低品质但出奇地可用。
AceReason-Nemotron-7B-Q3_K_S.gguf	Q3_K_S	3.49GB	false	低品质，不推荐。
AceReason-Nemotron-7B-IQ3_XS.gguf	IQ3_XS	3.35GB	false	较低品质，新方法，性能略优于Q3_K_S。
AceReason-Nemotron-7B-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	较低品质，新方法，性能与Q3量化相当。
AceReason-Nemotron-7B-Q2_K.gguf	Q2_K	3.02GB	false	非常低品质但出奇地可用。
AceReason-Nemotron-7B-IQ2_M.gguf	IQ2_M	2.78GB	false	相对低品质，使用SOTA技术使其出奇地可用。

嵌入/输出权重

部分量化（如Q3_K_XL、Q4_K_L等）为标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。

使用huggingface-cli下载

点击查看下载说明

首先，确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，可以指定目标文件：

huggingface-cli download bartowski/nvidia_AceReason-Nemotron-7B-GGUF --include "nvidia_AceReason-Nemotron-7B-Q4_K_M.gguf" --local-dir ./

如果模型大于50GB，将被分割为多个文件。要下载所有文件到本地文件夹，运行：

huggingface-cli download bartowski/nvidia_AceReason-Nemotron-7B-GGUF --include "nvidia_AceReason-Nemotron-7B-Q8_0/*" --local-dir ./

可以指定新的本地目录（nvidia_AceReason-Nemotron-7B-Q8_0）或直接下载到当前目录（./）

ARM/AVX信息

以前，您会下载Q4_0_4_4/4_8/8_8，这些文件会在内存中交错权重，以提高ARM和AVX机器的性能，通过一次加载更多数据。

现在，有一种称为“在线重新打包”的功能，详情见此PR。如果使用Q4_0且硬件受益于重新打包权重，它将自动在运行时完成。

从llama.cpp构建b4282开始，您将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果您想获得略好的品质，可以使用IQ4_NL，感谢此PR，它也会为ARM重新打包权重，但目前仅支持4_4。加载时间可能较慢，但会带来整体速度提升。

应该选择哪个文件？

点击查看详情

Artefact2提供了一个详细的性能图表，见此处

首先，确定您可以运行的模型大小。为此，需要了解您的RAM和/或VRAM大小。

如果希望模型运行尽可能快，您需要将整个模型放入GPU的VRAM中。选择一个文件大小比GPU总VRAM小1-2GB的量化。

如果追求最高品质，将系统RAM和GPU的VRAM相加，然后选择一个文件大小比该总和小1-2GB的量化。

接下来，决定是否使用“I-quant”或“K-quant”。

如果不想过多思考，选择一个K-quant。格式为“QX_K_X”，如Q5_K_M。

如果想深入了解，可以查看这个非常有用的特性图表：

llama.cpp特性矩阵

基本上，如果目标是低于Q4，并且运行cuBLAS（Nvidia）或rocBLAS（AMD），应考虑I-quant。格式为IQX_X，如IQ3_M。这些较新，在其大小下提供更好的性能。

这些I-quant也可用于CPU，但会比等效的K-quant慢，因此需要在速度与性能之间做出权衡。

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。

感谢ZeroWw启发我尝试嵌入/输出。

感谢LM Studio赞助我的工作。

想支持我的工作？访问我的ko-fi页面：https://ko-fi.com/bartowski

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签