LGAI-EXAONE_EXAONE-4.0-32B-GGUF开源模型 - 灵活适配不同硬件免费使用

首页

LGAI EXAONE EXAONE 4.0 32B GGUF

由 bartowski 开发

LGAI-EXAONE的EXAONE-4.0-32B模型的量化版本，使用llama.cpp工具进行量化处理，旨在为不同硬件条件的用户提供更灵活的使用选择。

大型语言模型 #高精度量化 #多硬件适配 #低内存优化

下载量 708

发布时间 : 7/19/2025

模型简介

EXAONE-4.0-32B是一个大型语言模型，提供多种量化版本以适应不同硬件需求，支持文本生成和对话任务。

模型特点

多种量化类型

提供丰富的量化类型供用户选择，以平衡模型质量和文件大小。

在线重打包

部分量化版本支持在线重打包，可在运行时自动优化性能。

灵活的下载方式

支持使用huggingface-cli下载特定文件或整个模型。

模型能力

文本生成

对话系统

支持多种量化版本

使用案例

文本生成

对话系统

可用于构建智能对话系统，支持多轮对话。

内容创作

生成高质量文本内容，如文章、故事等。

🚀 LGAI-EXAONE的EXAONE-4.0-32B的Llamacpp imatrix量化版本

本项目提供了LGAI-EXAONE的EXAONE-4.0-32B模型的量化版本，使用llama.cpp工具进行量化处理，旨在为不同硬件条件的用户提供更灵活的使用选择。

🚀 快速开始

使用 llama.cpp 的 b5934 版本进行量化。原始模型：https://huggingface.co/LGAI-EXAONE/EXAONE-4.0-32B 所有量化版本均使用imatrix选项，并使用来自此处的数据集。你可以在 LM Studio 中运行这些量化版本，也可以直接使用 llama.cpp 或任何基于llama.cpp的项目来运行。

✨ 主要特性

多种量化类型：提供了丰富的量化类型供用户选择，以平衡模型质量和文件大小。
在线重打包：部分量化版本支持在线重打包，可在运行时自动优化性能。
灵活的下载方式：支持使用huggingface-cli下载特定文件或整个模型。

📦 安装指南

使用huggingface-cli下载

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-4.0-32B-GGUF --include "LGAI-EXAONE_EXAONE-4.0-32B-Q4_K_M.gguf" --local-dir ./

如果模型大小超过50GB，它会被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-4.0-32B-GGUF --include "LGAI-EXAONE_EXAONE-4.0-32B-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如LGAI-EXAONE_EXAONE-4.0-32B-Q8_0），也可以将它们全部下载到当前目录（./）。

💻 使用示例

提示格式

由于未指定聊天模板，因此使用默认模板。这可能不正确，请查看原始模型卡以获取详细信息。

[|system|]
{system_prompt}[|endofturn|]
[|user|]
{prompt}[|endofturn|]
[|assistant|]
<think>

</think>

📚 详细文档

下载文件选择

文件名	量化类型	文件大小	是否分割	描述
EXAONE-4.0-32B-bf16.gguf	bf16	64.01GB	true	完整的BF16权重。
EXAONE-4.0-32B-Q8_0.gguf	Q8_0	34.01GB	false	极高质量，通常不需要，但为最大可用量化。
EXAONE-4.0-32B-Q6_K_L.gguf	Q6_K_L	26.51GB	false	嵌入和输出权重使用Q8_0。非常高质量，接近完美，推荐。
EXAONE-4.0-32B-Q6_K.gguf	Q6_K	26.26GB	false	非常高质量，接近完美，推荐。
EXAONE-4.0-32B-Q5_K_L.gguf	Q5_K_L	23.02GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
EXAONE-4.0-32B-Q5_K_M.gguf	Q5_K_M	22.70GB	false	高质量，推荐。
EXAONE-4.0-32B-Q5_K_S.gguf	Q5_K_S	22.08GB	false	高质量，推荐。
EXAONE-4.0-32B-Q4_1.gguf	Q4_1	20.11GB	false	旧格式，性能与Q4_K_S相似，但在Apple硅芯片上每瓦令牌数有所提高。
EXAONE-4.0-32B-Q4_K_L.gguf	Q4_K_L	19.73GB	false	嵌入和输出权重使用Q8_0。质量良好，推荐。
EXAONE-4.0-32B-Q4_K_M.gguf	Q4_K_M	19.34GB	false	质量良好，是大多数用例的默认大小，推荐。
EXAONE-4.0-32B-Q4_K_S.gguf	Q4_K_S	18.29GB	false	质量略低，但节省更多空间，推荐。
EXAONE-4.0-32B-Q4_0.gguf	Q4_0	18.21GB	false	旧格式，提供用于ARM和AVX CPU推理的在线重打包。
EXAONE-4.0-32B-IQ4_NL.gguf	IQ4_NL	18.19GB	false	与IQ4_XS相似，但略大。提供用于ARM CPU推理的在线重打包。
EXAONE-4.0-32B-Q3_K_XL.gguf	Q3_K_XL	17.25GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合低内存情况。
EXAONE-4.0-32B-IQ4_XS.gguf	IQ4_XS	17.21GB	false	质量不错，比Q4_K_S小，性能相似，推荐。
EXAONE-4.0-32B-Q3_K_L.gguf	Q3_K_L	16.80GB	false	质量较低但可用，适合低内存情况。
EXAONE-4.0-32B-Q3_K_M.gguf	Q3_K_M	15.49GB	false	低质量。
EXAONE-4.0-32B-IQ3_M.gguf	IQ3_M	14.38GB	false	中低质量，新方法，性能与Q3_K_M相当。
EXAONE-4.0-32B-Q3_K_S.gguf	Q3_K_S	13.96GB	false	低质量，不推荐。
EXAONE-4.0-32B-IQ3_XS.gguf	IQ3_XS	13.28GB	false	质量较低，新方法，性能不错，略优于Q3_K_S。
EXAONE-4.0-32B-IQ3_XXS.gguf	IQ3_XXS	12.46GB	false	质量较低，新方法，性能不错，与Q3量化相当。
EXAONE-4.0-32B-Q2_K_L.gguf	Q2_K_L	12.44GB	false	嵌入和输出权重使用Q8_0。质量非常低，但出人意料地可用。
EXAONE-4.0-32B-Q2_K.gguf	Q2_K	11.93GB	false	质量非常低，但出人意料地可用。
EXAONE-4.0-32B-IQ2_M.gguf	IQ2_M	10.90GB	false	质量相对较低，使用最先进的技术，出人意料地可用。
EXAONE-4.0-32B-IQ2_S.gguf	IQ2_S	10.03GB	false	质量低，使用最先进的技术，可用。
EXAONE-4.0-32B-IQ2_XS.gguf	IQ2_XS	9.62GB	false	质量低，使用最先进的技术，可用。

嵌入/输出权重

部分量化版本（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

ARM/AVX信息

以前，你会下载Q4_0_4_4/4_8/8_8，这些版本的权重会在内存中交错排列，以便通过一次加载更多数据来提高ARM和AVX机器的性能。

然而，现在有了一种称为“在线重打包”的权重处理方式，详情见此PR。如果你使用Q4_0，并且你的硬件能从权重重打包中受益，它会在运行时自动进行。

从llama.cpp构建版本 b4282 开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。

此外，如果你想获得略高的质量，可以使用IQ4_NL，感谢此PR，它也会为ARM重打包权重，不过目前仅支持4_4。加载时间可能会更长，但总体速度会提高。

选择哪个文件？

点击查看详情

Artefact2 提供了一篇很棒的文章，带有展示各种性能的图表，可点击此处查看

首先，你需要确定你能运行多大的模型。这需要你了解自己有多少RAM和/或VRAM。

如果你希望模型运行得尽可能快，你需要将整个模型放入GPU的VRAM中。选择文件大小比GPU总VRAM小1 - 2GB的量化版本。
如果你追求绝对最高质量，将系统RAM和GPU的VRAM相加，然后选择文件大小比该总和小1 - 2GB的量化版本。

接下来，你需要决定是使用“I-quant”还是“K-quant”。

如果你不想考虑太多，可以选择K-quant。这些格式为“QX_K_X”，如Q5_K_M。
如果你想深入了解，可以查看这个非常有用的功能图表：llama.cpp feature matrix

但基本上，如果你目标是低于Q4的量化，并且你使用的是cuBLAS（Nvidia）或rocBLAS（AMD），你应该考虑I-quant。这些格式为IQX_X，如IQ3_M。这些是较新的格式，在相同大小下提供更好的性能。

这些I-quant也可以在CPU上使用，但比对应的K-quant慢，因此你需要在速度和性能之间做出权衡。

🔧 技术细节

在线重打包

以前，为了提高ARM和AVX机器的性能，会下载Q4_0_4_4/4_8/8_8版本，其权重在内存中交错排列以一次加载更多数据。现在有了“在线重打包”技术，对于Q4_0版本，如果硬件适合重打包权重，会在运行时自动进行。从llama.cpp构建版本 b4282 开始，不再支持Q4_0_X_X文件，需使用Q4_0。此外，IQ4_NL版本也会为ARM重打包权重，虽加载时间可能变长，但总体速度会提高。

量化选择

在选择量化版本时，需要考虑硬件资源（RAM和VRAM）、运行速度和模型质量的平衡。如果追求速度，应选择文件大小比GPU VRAM小1 - 2GB的量化版本；如果追求最高质量，可将系统RAM和GPU VRAM相加，选择文件大小比该总和小1 - 2GB的量化版本。同时，还需在“I-quant”和“K-quant”之间做出选择，K-quant格式为“QX_K_X”，适合不想深入考虑的用户；I-quant格式为IQX_X，适合使用cuBLAS（Nvidia）或rocBLAS（AMD）且目标低于Q4量化的用户，但在CPU上运行比K-quant慢。