Gryphe Pantheon RP 1.8 24b Small 3.1 GGUF

由 bartowski 开发

这是一个基于Gryphe/Pantheon-RP-1.8-24b-Small-3.1模型的量化版本，使用llama.cpp进行量化，适用于角色扮演和文本生成任务。

大型语言模型

英语

开源协议:Apache-2.0 #角色扮演优化 #ChatML格式 #多级量化选择

下载量 6,477

发布时间 : 3/18/2025

模型介绍

内容详情

替代品

模型简介

该模型是Pantheon-RP-1.8-24b-Small-3.1的量化版本，支持ChatML格式的提示，适用于角色扮演和文本生成任务。

模型特点

多种量化选项

提供从Q8_0到Q2_K_L等多种量化选项，满足不同硬件和性能需求。

角色扮演优化

模型经过指令微调，特别适合角色扮演任务。

ChatML支持

支持ChatML格式的提示，便于对话式交互。

模型能力

文本生成

角色扮演

对话生成

使用案例

角色扮演

角色扮演对话

使用ChatML格式提示进行角色扮演对话。

生成符合角色设定的自然语言响应。

文本生成

创意写作

生成创意文本内容。

生成连贯且有创意的文本。

文件名	量化类型	文件大小	是否分割	描述
Pantheon-RP-1.8-24b-Small-3.1-bf16.gguf	bf16	47.15GB	否	完整的BF16权重。
Pantheon-RP-1.8-24b-Small-3.1-Q8_0.gguf	Q8_0	25.05GB	否	极高品质，通常不需要但为最高可用量化。
Pantheon-RP-1.8-24b-Small-3.1-Q6_K_L.gguf	Q6_K_L	19.67GB	否	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q6_K.gguf	Q6_K	19.35GB	否	极高品质，接近完美，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q5_K_L.gguf	Q5_K_L	17.18GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q5_K_M.gguf	Q5_K_M	16.76GB	否	高品质，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q5_K_S.gguf	Q5_K_S	16.30GB	否	高品质，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q4_1.gguf	Q4_1	14.87GB	否	传统格式，性能类似Q4_K_S但在Apple芯片上功耗表现更优。
Pantheon-RP-1.8-24b-Small-3.1-Q4_K_L.gguf	Q4_K_L	14.83GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q4_K_M.gguf	Q4_K_M	14.33GB	否	良好品质，多数场景默认选择，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q4_K_S.gguf	Q4_K_S	13.55GB	否	品质略低但节省更多空间，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q4_0.gguf	Q4_0	13.49GB	否	传统格式，支持ARM和AVX CPU推理的在线重打包。
Pantheon-RP-1.8-24b-Small-3.1-IQ4_NL.gguf	IQ4_NL	13.47GB	否	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_XL.gguf	Q3_K_XL	12.99GB	否	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
Pantheon-RP-1.8-24b-Small-3.1-IQ4_XS.gguf	IQ4_XS	12.76GB	否	尚可品质，比Q4_K_S更小且性能相似，推荐。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_L.gguf	Q3_K_L	12.40GB	否	品质较低但可用，适合低RAM环境。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_M.gguf	Q3_K_M	11.47GB	否	低品质。
Pantheon-RP-1.8-24b-Small-3.1-IQ3_M.gguf	IQ3_M	10.65GB	否	中低品质，新方法性能尚可，与Q3_K_M相当。
Pantheon-RP-1.8-24b-Small-3.1-Q3_K_S.gguf	Q3_K_S	10.40GB	否	低品质，不推荐。
Pantheon-RP-1.8-24b-Small-3.1-IQ3_XS.gguf	IQ3_XS	9.91GB	否	更低品质，新方法性能尚可，略优于Q3_K_S。
Pantheon-RP-1.8-24b-Small-3.1-Q2_K_L.gguf	Q2_K_L	9.55GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
[Pantheon-RP-1.8-24b-Small-3.1-IQ3_XX