Glm 4 9b Chat Abliterated GGUF

由 bartowski 开发

基于GLM-4架构的9B参数聊天模型，支持中英文对话，经过量化处理适用于不同硬件环境

大型语言模型

支持多种语言

开源协议:其他 #中英双语对话 #高精度量化 #低内存占用

下载量 2,676

发布时间 : 4/25/2025

模型介绍

内容详情

替代品

模型简介

这是一个基于GLM-4架构的9B参数聊天模型，支持中文和英文对话。模型经过多种量化处理，适用于不同硬件环境，特别适合在资源受限的设备上运行。

模型特点

多重量化版本

提供从F16到IQ2_M等多种量化版本，满足不同硬件需求

中英双语支持

专门优化支持中文和英文的对话交流

高效推理

经过优化可在资源受限设备上高效运行

imatrix量化

使用llama.cpp的imatrix选项进行量化，提高量化质量

模型能力

文本生成

对话系统

中英双语处理

聊天应用

使用案例

智能助手

日常问答

回答用户各种日常问题

提供准确、流畅的回答

语言学习

辅助中英双语学习

提供自然的语言交流体验

嵌入式应用

本地化聊天应用

在资源受限设备上部署聊天功能

在有限资源下实现流畅对话

base_model: byroneverson/glm-4-9b-chat-abliterated language:

中文
英文 library_name: transformers license: 其他 license_name: glm-4 license_link: https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/LICENSE pipeline_tag: 文本生成 tags:
glm
chatglm
thudm
聊天
abliterated quantized_by: bartowski

glm-4-9b-chat-abliterated的Llamacpp imatrix量化版本

使用llama.cpp发布的b3634版本进行量化。

原始模型：https://huggingface.co/byroneverson/glm-4-9b-chat-abliterated

所有量化均采用imatrix选项，数据集来自此处

在LM Studio中运行它们

提示格式

[gMASK] <sop> <|system|> 
{系统提示} <|user|> 
{提示} <|assistant|>

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
glm-4-9b-chat-abliterated-f16.gguf	f16	18.81GB	否	完整的F16权重。
glm-4-9b-chat-abliterated-Q8_0.gguf	Q8_0	9.99GB	否	极高品质，通常不需要但为最高可用量化。
glm-4-9b-chat-abliterated-Q6_K_L.gguf	Q6_K_L	8.56GB	否	嵌入和输出权重使用Q8_0。极高品质，近乎完美，推荐。
glm-4-9b-chat-abliterated-Q6_K.gguf	Q6_K	8.26GB	否	极高品质，近乎完美，推荐。
glm-4-9b-chat-abliterated-Q5_K_L.gguf	Q5_K_L	7.53GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
glm-4-9b-chat-abliterated-Q5_K_M.gguf	Q5_K_M	7.14GB	否	高品质，推荐。
glm-4-9b-chat-abliterated-Q4_K_L.gguf	Q4_K_L	6.71GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
glm-4-9b-chat-abliterated-Q5_K_S.gguf	Q5_K_S	6.69GB	否	高品质，推荐。
glm-4-9b-chat-abliterated-Q4_K_M.gguf	Q4_K_M	6.25GB	否	良好品质，多数使用场景的默认大小，推荐。
glm-4-9b-chat-abliterated-Q3_K_XL.gguf	Q3_K_XL	5.82GB	否	嵌入和输出权重使用Q8_0。较低品质但仍可用，适合内存有限的情况。
glm-4-9b-chat-abliterated-Q4_K_S.gguf	Q4_K_S	5.75GB	否	品质稍低但节省更多空间，推荐。
glm-4-9b-chat-abliterated-Q4_0.gguf	Q4_0	5.47GB	否	旧格式，通常不值得使用，类似大小的格式更优
glm-4-9b-chat-abliterated-Q4_0_8_8.gguf	Q4_0_8_8	5.46GB	否	针对ARM和CPU推理优化，比Q4_0快得多且品质相近。
glm-4-9b-chat-abliterated-Q4_0_4_8.gguf	Q4_0_4_8	5.46GB	否	针对ARM和CPU推理优化，比Q4_0快得多且品质相近。
glm-4-9b-chat-abliterated-Q4_0_4_4.gguf	Q4_0_4_4	5.46GB	否	针对ARM和CPU推理优化，比Q4_0快得多且品质相近。
glm-4-9b-chat-abliterated-Q3_K_L.gguf	Q3_K_L	5.28GB	否	较低品质但仍可用，适合内存有限的情况。
glm-4-9b-chat-abliterated-IQ4_XS.gguf	IQ4_XS	5.25GB	否	尚可品质，比Q4_K_S更小但性能相近，推荐。
glm-4-9b-chat-abliterated-Q3_K_M.gguf	Q3_K_M	5.06GB	否	低品质。
glm-4-9b-chat-abliterated-IQ3_M.gguf	IQ3_M	4.81GB	否	中低品质，新方法，性能尚可，与Q3_K_M相当。
glm-4-9b-chat-abliterated-Q2_K_L.gguf	Q2_K_L	4.60GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
glm-4-9b-chat-abliterated-Q3_K_S.gguf	Q3_K_S	4.59GB	否	低品质，不推荐。
glm-4-9b-chat-abliterated-IQ3_XS.gguf	IQ3_XS	4.43GB	否	较低品质，新方法，性能尚可，略优于Q3_K_S。
glm-4-9b-chat-abliterated-Q2_K.gguf	Q2_K	3.99GB	否	极低品质但意外可用。
glm-4-9b-chat-abliterated-IQ2_M.gguf	IQ2_M	3.93GB	否	相对低品质，采用SOTA技术，意外可用。