Andrewzh Absolute Zero Reasoner Coder 14b GGUF

由 bartowski 开发

基于andrewzh的Absolute_Zero_Reasoner-Coder-14b模型，使用llama.cpp进行imatrix量化的版本，适用于推理和代码生成任务。

大型语言模型 #高精度推理 #代码生成优化 #多任务处理

下载量 1,995

发布时间 : 5/10/2025

模型介绍

内容详情

替代品

模型简介

这是一个14B参数规模的推理与代码生成模型，经过量化处理以降低资源需求，同时保持较高的性能。

模型特点

高效量化

提供多种量化选项，从高精度到低精度，满足不同硬件需求。

推理优化

使用imatrix量化技术，优化推理性能。

多平台支持

支持在LM Studio、llama.cpp等多种平台上运行。

模型能力

文本生成

代码生成

推理任务

使用案例

编程辅助

代码补全

帮助开发者快速生成代码片段。

提高编码效率

文本生成

内容创作

生成文章、报告等文本内容。

提升内容创作效率

文件名	量化类型	文件大小	是否分割	描述
Absolute_Zero_Reasoner-Coder-14b-bf16.gguf	bf16	29.55GB	否	完整的BF16权重。
Absolute_Zero_Reasoner-Coder-14b-Q8_0.gguf	Q8_0	15.70GB	否	极高品质，通常不需要但为最高可用量化。
Absolute_Zero_Reasoner-Coder-14b-Q6_K_L.gguf	Q6_K_L	12.50GB	否	嵌入和输出权重使用Q8_0。非常高品质，接近完美，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q6_K.gguf	Q6_K	12.12GB	否	非常高品质，接近完美，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q5_K_L.gguf	Q5_K_L	10.99GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q5_K_M.gguf	Q5_K_M	10.51GB	否	高品质，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q5_K_S.gguf	Q5_K_S	10.27GB	否	高品质，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q4_K_L.gguf	Q4_K_L	9.57GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q4_1.gguf	Q4_1	9.39GB	否	旧格式，性能类似Q4_K_S，但在Apple芯片上每瓦特生成更多token。
Absolute_Zero_Reasoner-Coder-14b-Q4_K_M.gguf	Q4_K_M	8.99GB	否	良好品质，大多数用例的默认大小，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q3_K_XL.gguf	Q3_K_XL	8.61GB	否	嵌入和输出权重使用Q8_0。较低品质但仍可用，适合内存有限的场景。
Absolute_Zero_Reasoner-Coder-14b-Q4_K_S.gguf	Q4_K_S	8.57GB	否	品质略低但节省更多空间，推荐。
Absolute_Zero_Reasoner-Coder-14b-IQ4_NL.gguf	IQ4_NL	8.55GB	否	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
Absolute_Zero_Reasoner-Coder-14b-Q4_0.gguf	Q4_0	8.54GB	否	旧格式，支持ARM和AVX CPU推理的在线重打包。
Absolute_Zero_Reasoner-Coder-14b-IQ4_XS.gguf	IQ4_XS	8.12GB	否	尚可品质，比Q4_K_S更小但性能相似，推荐。
Absolute_Zero_Reasoner-Coder-14b-Q3_K_L.gguf	Q3_K_L	7.92GB	否	较低品质但仍可用，适合内存有限的场景。
Absolute_Zero_Reasoner-Coder-14b-Q3_K_M.gguf	Q3_K_M	7.34GB	否	低品质。
Absolute_Zero_Reasoner-Coder-14b-IQ3_M.gguf	IQ3_M	6.92GB	否	中低品质，新方法，性能与Q3_K_M相当。
Absolute_Zero_Reasoner-Coder-14b-Q3_K_S.gguf	Q3_K_S	6.66GB	否	低品质，不推荐。
Absolute_Zero_Reasoner-Coder-14b-Q2_K_L.gguf	Q2_K_L	6.53GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Absolute_Zero_Reasoner-Coder-14b-IQ3_XS.gguf	IQ3_XS	6.38GB	否	较低品质，新方法，性能略优于Q3_K_S。
Absolute_Zero_Reasoner-Coder-14b-IQ3_XXS.gguf	IQ3_XXS	5.95GB	否	较低品质，新方法，性能与Q3量化相当。
Absolute_Zero_Reasoner-Coder-14b-Q2_K.gguf	Q2_K	5.77GB	否	极低品质但意外可用。
Absolute_Zero_Reasoner-Coder-14b-IQ2_M.gguf	IQ2_M	5.36GB	否	相对低品质，采用SOTA技术使其意外可用。
Absolute_Zero_Reasoner-Coder-14b-IQ2_S.gguf