Nvidia OpenCodeReasoning Nemotron 14B GGUF

由 bartowski 开发

这是NVIDIA OpenCodeReasoning-Nemotron-14B模型的Llamacpp imatrix量化版本，适用于代码推理任务。

大型语言模型

支持多种语言

开源协议:Apache-2.0 #代码推理优化 #多级量化模型 #低资源部署

下载量 1,771

发布时间 : 5/8/2025

模型介绍

内容详情

替代品

模型简介

基于NVIDIA OpenCodeReasoning-Nemotron-14B模型的量化版本，专注于代码生成和推理任务，支持多种量化级别以适应不同硬件需求。

模型特点

多种量化级别

提供从BF16到Q2_K的多种量化版本，适应不同硬件和性能需求。

高质量推理

Q6_K_L和Q5_K_M等高质量量化版本接近原始模型性能。

广泛兼容性

支持LM Studio和llama.cpp等多种运行环境。

优化嵌入权重

部分量化版本对嵌入和输出权重进行特殊优化，提升推理质量。

模型能力

代码生成

代码推理

文本生成

编程问题解答

使用案例

软件开发

代码自动补全

帮助开发者快速生成代码片段

提高编码效率

编程问题解答

解释编程概念和解决编码问题

辅助学习和问题解决

教育

编程教学辅助

生成教学示例和练习题目

增强学习体验

文件名	量化类型	文件大小	是否分割	描述
OpenCodeReasoning-Nemotron-14B-bf16.gguf	bf16	29.55GB	false	完整的BF16权重。
OpenCodeReasoning-Nemotron-14B-Q8_0.gguf	Q8_0	15.70GB	false	极高品质，通常不需要但为最高可用量化版本。
OpenCodeReasoning-Nemotron-14B-Q6_K_L.gguf	Q6_K_L	12.50GB	false	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
OpenCodeReasoning-Nemotron-14B-Q6_K.gguf	Q6_K	12.12GB	false	极高品质，接近完美，推荐。
OpenCodeReasoning-Nemotron-14B-Q5_K_L.gguf	Q5_K_L	10.99GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
OpenCodeReasoning-Nemotron-14B-Q5_K_M.gguf	Q5_K_M	10.51GB	false	高品质，推荐。
OpenCodeReasoning-Nemotron-14B-Q5_K_S.gguf	Q5_K_S	10.27GB	false	高品质，推荐。
OpenCodeReasoning-Nemotron-14B-Q4_K_L.gguf	Q4_K_L	9.57GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
OpenCodeReasoning-Nemotron-14B-Q4_1.gguf	Q4_1	9.39GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上功耗表现更优。
OpenCodeReasoning-Nemotron-14B-Q4_K_M.gguf	Q4_K_M	8.99GB	false	良好品质，适用于大多数场景的默认大小，推荐。
OpenCodeReasoning-Nemotron-14B-Q3_K_XL.gguf	Q3_K_XL	8.61GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合内存有限的情况。
OpenCodeReasoning-Nemotron-14B-Q4_K_S.gguf	Q4_K_S	8.57GB	false	质量稍低但节省更多空间，推荐。
OpenCodeReasoning-Nemotron-14B-IQ4_NL.gguf	IQ4_NL	8.55GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
OpenCodeReasoning-Nemotron-14B-Q4_0.gguf	Q4_0	8.54GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
OpenCodeReasoning-Nemotron-14B-IQ4_XS.gguf	IQ4_XS	8.12GB	false	质量尚可，比Q4_K_S更小但性能相似，推荐。
OpenCodeReasoning-Nemotron-14B-Q3_K_L.gguf	Q3_K_L	7.92GB	false	质量较低但可用，适合内存有限的情况。
OpenCodeReasoning-Nemotron-14B-Q3_K_M.gguf	Q3_K_M	7.34GB	false	质量较低。
OpenCodeReasoning-Nemotron-14B-IQ3_M.gguf	IQ3_M	6.92GB	false	中低质量，新方法，性能与Q3_K_M相当。
OpenCodeReasoning-Nemotron-14B-Q3_K_S.gguf	Q3_K_S	6.66GB	false	质量较低，不推荐。
OpenCodeReasoning-Nemotron-14B-Q2_K_L.gguf	Q2_K_L	6.53GB	false	嵌入和输出权重使用Q8_0。质量非常低但意外可用。
OpenCodeReasoning-Nemotron-14B-IQ3_XS.gguf	IQ3_XS	6.38GB	false	质量较低，新方法，性能稍优于Q3_K_S。
OpenCodeReasoning-Nemotron-14B-IQ3_XXS.gguf	IQ3_XXS	5.95GB	false	质量较低，新方法，性能与Q3量化相当。
OpenCodeReasoning-Nemotron-14B-Q2_K.gguf	Q2_K	5.77GB	false	质量非常低但意外可用。
OpenCodeReasoning-Nemotron-14B-IQ2_M.gguf	IQ2_M	5.36GB	false	质量相对较低，使用SOTA技术使其意外可用。
OpenCodeReasoning-Nemotron-14B-IQ2_S.gguf	IQ2_S	5.00GB	false	质量较低，使用SOTA技术使其可用。