Nvidia OpenCodeReasoning Nemotron 32B IOI GGUF

由 bartowski 开发

这是NVIDIA OpenCodeReasoning-Nemotron-32B-IOI模型的量化版本，使用llama.cpp进行量化处理，适用于代码推理任务。

大型语言模型

支持多种语言

开源协议:Apache-2.0 #代码推理优化 #高精度量化 #多语言代码生成

下载量 1,272

发布时间 : 5/8/2025

模型介绍

内容详情

替代品

模型简介

一个专注于代码推理的大型语言模型，经过量化处理后可在资源受限的环境中运行。

模型特点

多种量化选项

提供从Q2_K到Q8_0等多种量化级别，满足不同硬件条件下的使用需求

代码推理优化

专门针对代码理解和生成任务进行优化

跨平台支持

可在LM Studio和llama.cpp等不同平台上运行

模型能力

代码理解

代码生成

代码推理

文本生成

使用案例

软件开发

代码补全

帮助开发人员自动补全代码片段

代码解释

解释复杂代码的功能和逻辑

教育

编程教学

作为编程学习的辅助工具

文件名	量化类型	文件大小	是否分片	描述
OpenCodeReasoning-Nemotron-32B-IOI-bf16.gguf	bf16	65.54GB	是	完整的BF16权重。
OpenCodeReasoning-Nemotron-32B-IOI-Q8_0.gguf	Q8_0	34.82GB	否	极高品质，通常无需但为最高可用量化。
OpenCodeReasoning-Nemotron-32B-IOI-Q6_K_L.gguf	Q6_K_L	27.26GB	否	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q6_K.gguf	Q6_K	26.89GB	否	极高品质，接近完美，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q5_K_L.gguf	Q5_K_L	23.74GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q5_K_M.gguf	Q5_K_M	23.26GB	否	高品质，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q5_K_S.gguf	Q5_K_S	22.64GB	否	高品质，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q4_1.gguf	Q4_1	20.64GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上令牌/瓦特表现更优。
OpenCodeReasoning-Nemotron-32B-IOI-Q4_K_L.gguf	Q4_K_L	20.43GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q4_K_M.gguf	Q4_K_M	19.85GB	否	良好品质，多数用例的默认选择，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q4_K_S.gguf	Q4_K_S	18.78GB	否	品质略低但节省更多空间，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q4_0.gguf	Q4_0	18.71GB	否	传统格式，支持ARM和AVX CPU推理的在线重打包。
OpenCodeReasoning-Nemotron-32B-IOI-IQ4_NL.gguf	IQ4_NL	18.68GB	否	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
OpenCodeReasoning-Nemotron-32B-IOI-Q3_K_XL.gguf	Q3_K_XL	17.93GB	否	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
OpenCodeReasoning-Nemotron-32B-IOI-IQ4_XS.gguf	IQ4_XS	17.69GB	否	品质尚可，比Q4_K_S更小且性能相近，推荐。
OpenCodeReasoning-Nemotron-32B-IOI-Q3_K_L.gguf	Q3_K_L	17.25GB	否	品质较低但可用，适合低RAM环境。
OpenCodeReasoning-Nemotron-32B-IOI-Q3_K_M.gguf	Q3_K_M	15.94GB	否	低品质。
OpenCodeReasoning-Nemotron-32B-IOI-IQ3_M.gguf	IQ3_M	14.81GB	否	中低品质，新方法性能尚可，与Q3_K_M相当。
OpenCodeReasoning-Nemotron-32B-IOI-Q3_K_S.gguf	Q3_K_S	14.39GB	否	低品质，不推荐。
OpenCodeReasoning-Nemotron-32B-IOI-IQ3_XS.gguf	IQ3_XS	13.71GB	否	较低品质，新方法性能尚可，略优于Q3_K_S。
OpenCodeReasoning-Nemotron-32B-IOI-Q2_K_L.gguf	Q2_K_L	13.07GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
OpenCodeReasoning-Nemotron-32B-IOI-IQ3_XXS.gguf	IQ3_XXS	12.84GB	否	较低品质，新方法性能尚可，与Q3量化相当。
OpenCodeReasoning-Nemotron-32B-IOI-Q2_K.gguf	Q2_K	12.31GB	否	极低品质但意外可用。
OpenCodeReasoning-Nemotron-32B-IOI-IQ2_M.gguf	IQ2_M	11.26GB	否	相对低品质，采用SOTA技术意外