Andrewzh Absolute Zero Reasoner Coder 7b GGUF

由 bartowski 开发

基于andrewzh的Absolute_Zero_Reasoner-Coder-7b模型的Llamacpp量化版本，支持多种量化级别，适用于推理和代码生成任务。

大型语言模型 #推理编程 #高效量化 #代码生成

下载量 1,325

发布时间 : 5/11/2025

模型介绍

内容详情

替代品

模型简介

这是一个7B参数规模的推理与代码生成模型，经过llama.cpp工具量化后可在消费级硬件上高效运行。

模型特点

多级量化选项

提供从Q2_K到Q8_0共22种量化级别，满足不同硬件条件下的推理需求

imatrix优化

所有量化版本均采用imatrix选项优化，提高量化后的模型质量

广泛兼容性

支持LM Studio、llama.cpp及兼容项目运行，跨平台部署

嵌入优化

部分量化版本对嵌入和输出权重采用Q8_0量化，提高关键部分精度

模型能力

文本生成

代码生成

推理任务

自然语言理解

使用案例

编程辅助

代码自动补全

根据上下文提示生成代码片段

代码解释

解释复杂代码的功能和逻辑

文本生成

内容创作

生成技术文档或文章

文件名	量化类型	文件大小	是否分割	描述
Absolute_Zero_Reasoner-Coder-7b-bf16.gguf	bf16	15.24GB	false	完整的BF16权重。
Absolute_Zero_Reasoner-Coder-7b-Q8_0.gguf	Q8_0	8.10GB	false	极高品质，通常不需要，但为最高可用量化版本。
Absolute_Zero_Reasoner-Coder-7b-Q6_K_L.gguf	Q6_K_L	6.52GB	false	嵌入和输出权重使用Q8_0。极高质量，接近完美，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q6_K.gguf	Q6_K	6.25GB	false	极高质量，接近完美，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q5_K_L.gguf	Q5_K_L	5.78GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q5_K_M.gguf	Q5_K_M	5.44GB	false	高质量，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q5_K_S.gguf	Q5_K_S	5.32GB	false	高质量，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q4_K_L.gguf	Q4_K_L	5.09GB	false	嵌入和输出权重使用Q8_0。良好质量，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q4_1.gguf	Q4_1	4.87GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上功耗表现更优。
Absolute_Zero_Reasoner-Coder-7b-Q4_K_M.gguf	Q4_K_M	4.68GB	false	良好质量，多数场景的默认选择，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q3_K_XL.gguf	Q3_K_XL	4.57GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合内存有限场景。
Absolute_Zero_Reasoner-Coder-7b-Q4_K_S.gguf	Q4_K_S	4.46GB	false	质量略低但节省更多空间，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q4_0.gguf	Q4_0	4.44GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
Absolute_Zero_Reasoner-Coder-7b-IQ4_NL.gguf	IQ4_NL	4.44GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
Absolute_Zero_Reasoner-Coder-7b-IQ4_XS.gguf	IQ4_XS	4.22GB	false	质量尚可，比Q4_K_S更小且性能相近，推荐。
Absolute_Zero_Reasoner-Coder-7b-Q3_K_L.gguf	Q3_K_L	4.09GB	false	质量较低但可用，适合内存有限场景。
Absolute_Zero_Reasoner-Coder-7b-Q3_K_M.gguf	Q3_K_M	3.81GB	false	低质量。
Absolute_Zero_Reasoner-Coder-7b-IQ3_M.gguf	IQ3_M	3.57GB	false	中低质量，新方法，性能与Q3_K_M相当。
Absolute_Zero_Reasoner-Coder-7b-Q2_K_L.gguf	Q2_K_L	3.55GB	false	嵌入和输出权重使用Q8_0。质量很低但意外可用。
Absolute_Zero_Reasoner-Coder-7b-Q3_K_S.gguf	Q3_K_S	3.49GB	false	低质量，不推荐。
Absolute_Zero_Reasoner-Coder-7b-IQ3_XS.gguf	IQ3_XS	3.35GB	false	低质量，新方法，性能略优于Q3_K_S。
Absolute_Zero_Reasoner-Coder-7b-IQ3_XXS.gguf	IQ3_XXS	3.11GB	false	低质量，新方法，性能与Q3量化相当。
Absolute_Zero_Reasoner-Coder-7b-Q2_K.gguf	Q2_K	3.02GB	false	质量很低但意外可用。
Absolute_Zero_Reasoner-Coder-7b-IQ2_M.gguf	IQ2_M	2.78GB	false	质量相对较低，采用前沿技术使其意外可用。