Thedrummer Gemmasutra 9B V1.1 GGUF

由 bartowski 开发

这是一个基于TheDrummer/Gemmasutra-9B-v1.1模型的量化版本，使用llama.cpp进行量化处理，适用于文本生成任务。

大型语言模型开源协议:其他 #文本生成 #多轮对话 #高效量化

下载量 1,198

发布时间 : 2/2/2025

模型介绍

内容详情

替代品

模型简介

该模型是Gemmasutra-9B-v1.1的量化版本，支持多种量化类型，适用于在资源受限的环境中运行。

模型特点

多种量化选项

提供从f32到IQ2_S等多种量化类型，满足不同硬件和性能需求。

高性能推理

使用llama.cpp进行优化，支持在LM Studio等平台上高效运行。

嵌入层优化

部分量化版本对嵌入层和输出层进行特殊优化，提升模型性能。

模型能力

文本生成

多轮对话

上下文理解

使用案例

聊天机器人

智能对话

用于构建智能聊天机器人，支持自然语言交互。

生成流畅、连贯的对话回复。

内容生成

文本创作

用于生成文章、故事等创意内容。

生成富有创意且连贯的文本内容。

量化者: bartowski
模型类型: 文本生成
许可协议: 其他
基础模型: TheDrummer/Gemmasutra-9B-v1.1

TheDrummer的Gemmasutra-9B-v1.1模型Llamacpp imatrix量化版本

使用llama.cpp发布的b4585版本进行量化。

原始模型: https://huggingface.co/TheDrummer/Gemmasutra-9B-v1.1

所有量化均采用imatrix选项，数据集来自此处

可在LM Studio中运行

也可直接通过llama.cpp或任何基于llama.cpp的项目运行

提示词格式

<bos><start_of_turn>user
{提示词}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

注意：该模型不支持系统提示词。

从下方下载单个文件(非整个分支):

文件名	量化类型	文件大小	是否分割	描述
Gemmasutra-9B-v1.1-f32.gguf	f32	36.97GB	false	完整的F32权重。
Gemmasutra-9B-v1.1-f16.gguf	f16	18.49GB	false	完整的F16权重。
Gemmasutra-9B-v1.1-Q8_0.gguf	Q8_0	9.83GB	false	极高品质，通常不需要但提供最大可用量化。
Gemmasutra-9B-v1.1-Q6_K_L.gguf	Q6_K_L	7.81GB	false	嵌入层和输出层使用Q8_0。接近完美的高品质，推荐。
Gemmasutra-9B-v1.1-Q6_K.gguf	Q6_K	7.59GB	false	接近完美的高品质，推荐。
Gemmasutra-9B-v1.1-Q5_K_L.gguf	Q5_K_L	6.87GB	false	嵌入层和输出层使用Q8_0。高品质，推荐。
Gemmasutra-9B-v1.1-Q5_K_M.gguf	Q5_K_M	6.65GB	false	高品质，推荐。
Gemmasutra-9B-v1.1-Q5_K_S.gguf	Q5_K_S	6.48GB	false	高品质，推荐。
Gemmasutra-9B-v1.1-Q4_K_L.gguf	Q4_K_L	5.98GB	false	嵌入层和输出层使用Q8_0。良好品质，推荐。
Gemmasutra-9B-v1.1-Q4_1.gguf	Q4_1	5.96GB	false	传统格式，性能类似Q4_K_S但在Apple芯片上每瓦特性能更优。
Gemmasutra-9B-v1.1-Q4_K_M.gguf	Q4_K_M	5.76GB	false	良好品质，大多数用例的默认选择，推荐。
Gemmasutra-9B-v1.1-Q4_K_S.gguf	Q4_K_S	5.48GB	false	品质略低但节省更多空间，推荐。
Gemmasutra-9B-v1.1-Q4_0.gguf	Q4_0	5.46GB	false	传统格式，支持ARM和AVX CPU的在线重打包推理。
Gemmasutra-9B-v1.1-IQ4_NL.gguf	IQ4_NL	5.44GB	false	类似IQ4_XS但稍大。支持ARM CPU的在线重打包推理。
Gemmasutra-9B-v1.1-Q3_K_XL.gguf	Q3_K_XL	5.35GB	false	嵌入层和输出层使用Q8_0。品质较低但可用，适合内存有限场景。
Gemmasutra-9B-v1.1-IQ4_XS.gguf	IQ4_XS	5.18GB	false	尚可品质，比Q4_K_S更小且性能相似，推荐。
Gemmasutra-9B-v1.1-Q3_K_L.gguf	Q3_K_L	5.13GB	false	品质较低但可用，适合内存有限场景。
Gemmasutra-9B-v1.1-Q3_K_M.gguf	Q3_K_M	4.76GB	false	低品质。
Gemmasutra-9B-v1.1-IQ3_M.gguf	IQ3_M	4.49GB	false	中低品质，新方法性能尚可，与Q3_K_M相当。
Gemmasutra-9B-v1.1-Q3_K_S.gguf	Q3_K_S	4.34GB	false	低品质，不推荐。
Gemmasutra-9B-v1.1-IQ3_XS.gguf	IQ3_XS	4.14GB	false	较低品质，新方法性能尚可，略优于Q3_K_S。
Gemmasutra-9B-v1.1-Q2_K_L.gguf	Q2_K_L	4.03GB	false	嵌入层和输出层使用Q8_0。极低品质但意外可用。
Gemmasutra-9B-v1.1-Q2_K.gguf	Q2_K	3.81GB	false	极低品质但意外可用。
Gemmasutra-9B-v1.1-IQ2_M.gguf	IQ2_M	3.43GB	false	相对低品质，采用SOTA技术意外可用。
Gemmasutra-9B-v1.1-IQ2_S.gguf	IQ2_S	3.21GB	false	低品质，采用SOTA技术可用。