Thedrummer Gemmasutra Small 4B V1 GGUF

由 bartowski 开发

Gemmasutra-Small-4B-v1是一个4B参数的文本生成模型，基于llama.cpp进行量化，适用于多种量化版本选择。

大型语言模型 #高效量化 #文本生成 #低资源部署

下载量 583

发布时间 : 3/11/2025

模型介绍

内容详情

替代品

模型简介

该模型是一个文本生成模型，支持多种量化版本，适用于不同硬件环境和需求。

模型特点

多种量化版本

提供从BF16到Q2_K的多种量化版本，满足不同硬件和性能需求。

imatrix量化

使用llama.cpp的imatrix选项进行量化，优化模型性能。

兼容性强

支持在LM Studio和llama.cpp等平台上运行。

模型能力

文本生成

使用案例

文本生成

创意写作

用于生成创意文本，如故事、诗歌等。

对话系统

用于构建对话系统，生成自然语言响应。

量化者：bartowski
任务类型：文本生成
基础模型：TheDrummer/Gemmasutra-Small-4B-v1

TheDrummer的Gemmasutra-Small-4B-v1模型的Llamacpp imatrix量化版本

使用llama.cpp发布的b4867版本进行量化。

原始模型：https://huggingface.co/TheDrummer/Gemmasutra-Small-4B-v1

所有量化均使用imatrix选项，数据集来自此处

在LM Studio中运行这些量化模型

直接使用llama.cpp或任何其他基于llama.cpp的项目运行

提示格式

<bos><start_of_turn>user  
{prompt}<end_of_turn>  
<start_of_turn>model  
<end_of_turn>  
<start_of_turn>model

注意：此模型不支持系统提示。

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否拆分	描述
Gemmasutra-Small-4B-v1-bf16.gguf	bf16	7.73GB	false	完整的BF16权重。
Gemmasutra-Small-4B-v1-Q8_0.gguf	Q8_0	4.11GB	false	极高品质，通常不需要，但提供最大可用量化。
Gemmasutra-Small-4B-v1-Q6_K_L.gguf	Q6_K_L	3.32GB	false	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
Gemmasutra-Small-4B-v1-Q6_K.gguf	Q6_K	3.17GB	false	极高品质，接近完美，推荐。
Gemmasutra-Small-4B-v1-Q5_K_L.gguf	Q5_K_L	2.95GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
Gemmasutra-Small-4B-v1-Q5_K_M.gguf	Q5_K_M	2.81GB	false	高品质，推荐。
Gemmasutra-Small-4B-v1-Q5_K_S.gguf	Q5_K_S	2.74GB	false	高品质，推荐。
Gemmasutra-Small-4B-v1-Q4_K_L.gguf	Q4_K_L	2.60GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
Gemmasutra-Small-4B-v1-Q4_1.gguf	Q4_1	2.54GB	false	旧格式，性能类似Q4_K_S，但在Apple芯片上每瓦特性能更优。
Gemmasutra-Small-4B-v1-Q4_K_M.gguf	Q4_K_M	2.46GB	false	良好品质，大多数用例的默认大小，推荐。
Gemmasutra-Small-4B-v1-Q4_K_S.gguf	Q4_K_S	2.35GB	false	品质稍低但节省更多空间，推荐。
Gemmasutra-Small-4B-v1-Q3_K_XL.gguf	Q3_K_XL	2.35GB	false	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
Gemmasutra-Small-4B-v1-Q4_0.gguf	Q4_0	2.34GB	false	旧格式，为ARM和AVX CPU推理提供在线重打包功能。
Gemmasutra-Small-4B-v1-IQ4_NL.gguf	IQ4_NL	2.33GB	false	类似IQ4_XS，但稍大。为ARM CPU推理提供在线重打包功能。
Gemmasutra-Small-4B-v1-IQ4_XS.gguf	IQ4_XS	2.23GB	false	品质尚可，比Q4_K_S更小且性能相似，推荐。
Gemmasutra-Small-4B-v1-Q3_K_L.gguf	Q3_K_L	2.20GB	false	品质较低但可用，适合低RAM环境。
Gemmasutra-Small-4B-v1-Q3_K_M.gguf	Q3_K_M	2.06GB	false	低品质。
Gemmasutra-Small-4B-v1-IQ3_M.gguf	IQ3_M	1.95GB	false	中低品质，新方法，性能与Q3_K_M相当。
Gemmasutra-Small-4B-v1-Q3_K_S.gguf	Q3_K_S	1.90GB	false	低品质，不推荐。
Gemmasutra-Small-4B-v1-Q2_K_L.gguf	Q2_K_L	1.83GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Gemmasutra-Small-4B-v1-IQ3_XS.gguf	IQ3_XS	1.82GB	false	较低品质，新方法，性能尚可，略优于Q3_K_S。
Gemmasutra-Small-4B-v1-Q2_K.gguf	Q2_K	1.69GB	false	极低品质但意外可用。
Gemmasutra-Small-4B-v1-IQ3_XXS.gguf	IQ3_XXS	1.66GB	false	较低品质，新方法，性能尚可，与Q3量化相当。
Gemmasutra-Small-4B-v1-IQ2_M.gguf	IQ2_M	1.50GB	false	相对低品质，使用SOTA技术，意外可用。