Allura Org Remnant Glm4 32b GGUF

由 bartowski 开发

Remnant-GLM4-32B 是一个基于 GLM4 架构的 32B 参数大语言模型，支持角色扮演和对话式交互，特别适合蝾螈相关的应用场景。

大型语言模型开源协议:Apache-2.0 #高精度量化 #角色扮演对话 #多场景适配

下载量 2,198

发布时间 : 5/4/2025

模型介绍

内容详情

替代品

模型简介

该模型是一个量化版本的大语言模型，支持文本生成任务，特别优化了角色扮演和对话式交互能力。

模型特点

高效量化

使用 llama.cpp 进行 imatrix 量化，提供多种量化选项，适合不同硬件环境。

角色扮演优化

特别优化了角色扮演和对话式交互能力，适合游戏和虚拟角色应用。

多量化选项

提供从 Q8_0 到 IQ2_XXS 的多种量化版本，满足不同性能和存储需求。

模型能力

文本生成

角色扮演

对话式交互

使用案例

游戏

虚拟角色对话

在游戏中生成虚拟角色的对话内容，增强玩家沉浸感。

娱乐

角色扮演聊天

用于生成角色扮演聊天内容，适合社交平台或聊天应用。

量化者：bartowski
流水线标签：文本生成
基础模型：allura-org/remnant-glm4-32b
许可证：apache-2.0
标签：

角色扮演
对话式
蝾螈
基础模型关系：量化

allura-org的remnant-glm4-32b的Llamacpp imatrix量化

使用llama.cpp版本b5270进行量化。

原始模型：https://huggingface.co/allura-org/remnant-glm4-32b

所有量化均使用imatrix选项，数据集来自此处

在LM Studio中运行
或直接使用llama.cpp或任何其他基于llama.cpp的项目运行

提示格式

[gMASK]<sop><|system|>  
{系统提示}<|user|>  
{提示}<|assistant|>

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
remnant-glm4-32b-bf16.gguf	bf16	65.14GB	是	完整的BF16权重。
remnant-glm4-32b-Q8_0.gguf	Q8_0	34.62GB	否	极高品质，通常不需要，但为最高可用量化。
remnant-glm4-32b-Q6_K_L.gguf	Q6_K_L	27.18GB	否	嵌入和输出权重使用Q8_0。极高品质，近乎完美，推荐。
remnant-glm4-32b-Q6_K.gguf	Q6_K	26.73GB	否	极高品质，近乎完美，推荐。
remnant-glm4-32b-Q5_K_L.gguf	Q5_K_L	23.67GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
remnant-glm4-32b-Q5_K_M.gguf	Q5_K_M	23.10GB	否	高品质，推荐。
remnant-glm4-32b-Q5_K_S.gguf	Q5_K_S	22.53GB	否	高品质，推荐。
remnant-glm4-32b-Q4_1.gguf	Q4_1	20.55GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上token/瓦特比有所提升。
remnant-glm4-32b-Q4_K_L.gguf	Q4_K_L	20.37GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
remnant-glm4-32b-Q4_K_M.gguf	Q4_K_M	19.68GB	否	良好品质，大多数用例的默认大小，推荐。
remnant-glm4-32b-Q4_K_S.gguf	Q4_K_S	18.70GB	否	品质略低但节省更多空间，推荐。
remnant-glm4-32b-Q4_0.gguf	Q4_0	18.63GB	否	传统格式，为ARM和AVX CPU推理提供在线重新打包功能。
remnant-glm4-32b-IQ4_NL.gguf	IQ4_NL	18.58GB	否	类似IQ4_XS，但稍大。为ARM CPU推理提供在线重新打包功能。
remnant-glm4-32b-Q3_K_XL.gguf	Q3_K_XL	18.03GB	否	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
remnant-glm4-32b-IQ4_XS.gguf	IQ4_XS	17.60GB	否	品质尚可，比Q4_K_S更小但性能相近，推荐。
remnant-glm4-32b-Q3_K_L.gguf	Q3_K_L	17.22GB	否	品质较低但可用，适合低RAM环境。
remnant-glm4-32b-Q3_K_M.gguf	Q3_K_M	15.89GB	否	低品质。
remnant-glm4-32b-IQ3_M.gguf	IQ3_M	14.82GB	否	中低品质，新方法，性能与Q3_K_M相当。
remnant-glm4-32b-Q3_K_S.gguf	Q3_K_S	14.37GB	否	低品质，不推荐。
remnant-glm4-32b-IQ3_XS.gguf	IQ3_XS	13.66GB	否	较低品质，新方法，性能尚可，略优于Q3_K_S。
remnant-glm4-32b-Q2_K_L.gguf	Q2_K_L	13.20GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
remnant-glm4-32b-IQ3_XXS.gguf	IQ3_XXS	12.78GB	否	较低品质，新方法，性能与Q3量化相当。
remnant-glm4-32b-Q2_K.gguf	Q2_K	12.29GB	否	极低品质但意外可用。
remnant-glm4-32b-IQ2_M.gguf	IQ2_M	11.27GB	否	相对低品质，使用SOTA技术使其意外可用。
remnant-glm4-32b-IQ2_S.gguf	IQ2_S	10.42GB	否	低品质，使用SOTA技术使其可用。
remnant-glm4-32b-IQ2_XS.gguf	IQ2_XS	9.90GB	否	低品质，使用SOTA技术使其可用。
remnant-glm4-32b-IQ2_XXS.gguf	IQ2_XXS	8.98GB	否	极低品质，使用SOTA技术使其可用。