Goekdeniz Guelmez Josiefied Qwen3 8B Abliterated V1 GGUF

由 bartowski 开发

这是Qwen3-8B模型的量化版本，使用llama.cpp进行imatrix量化，适用于聊天场景。

大型语言模型 #高精度量化 #聊天对话优化 #多格式适配

下载量 7,520

发布时间 : 5/5/2025

模型介绍

内容详情

替代品

模型简介

基于Qwen3-8B模型的量化版本，支持文本生成任务，特别优化用于聊天场景。

模型特点

高效量化

使用llama.cpp进行imatrix量化，提供多种量化级别选择，平衡性能与资源消耗。

聊天优化

特别针对聊天场景进行优化，提供流畅的对话体验。

多量化选项

提供从BF16到Q2_K_L等多种量化级别，适应不同硬件环境需求。

模型能力

文本生成

对话交互

内容创作

使用案例

聊天应用

智能客服

用于构建智能客服系统，提供自然流畅的对话体验。

个人助手

作为个人数字助手，帮助用户完成日常任务和问题解答。

内容创作

文本生成

用于生成各种类型的文本内容，如文章、故事等。

文件名	量化类型	文件大小	分割	描述
Josiefied-Qwen3-8B-abliterated-v1-bf16.gguf	bf16	16.39GB	false	完整的BF16权重。
Josiefied-Qwen3-8B-abliterated-v1-Q8_0.gguf	Q8_0	8.71GB	false	极高品质，通常不需要但为最大可用量化。
Josiefied-Qwen3-8B-abliterated-v1-Q6_K_L.gguf	Q6_K_L	7.03GB	false	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q6_K.gguf	Q6_K	6.73GB	false	极高品质，接近完美，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q5_K_L.gguf	Q5_K_L	6.24GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q5_K_M.gguf	Q5_K_M	5.85GB	false	高品质，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q5_K_S.gguf	Q5_K_S	5.72GB	false	高品质，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q4_K_L.gguf	Q4_K_L	5.49GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q4_1.gguf	Q4_1	5.25GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上功耗表现更优。
Josiefied-Qwen3-8B-abliterated-v1-Q4_K_M.gguf	Q4_K_M	5.03GB	false	良好品质，多数用例的默认大小，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q3_K_XL.gguf	Q3_K_XL	4.98GB	false	嵌入和输出权重使用Q8_0。较低品质但可用，适合低RAM环境。
Josiefied-Qwen3-8B-abliterated-v1-Q4_K_S.gguf	Q4_K_S	4.80GB	false	品质略低但节省更多空间，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q4_0.gguf	Q4_0	4.79GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
Josiefied-Qwen3-8B-abliterated-v1-IQ4_NL.gguf	IQ4_NL	4.79GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
Josiefied-Qwen3-8B-abliterated-v1-IQ4_XS.gguf	IQ4_XS	4.56GB	false	良好品质，比Q4_K_S更小且性能相似，推荐。
Josiefied-Qwen3-8B-abliterated-v1-Q3_K_L.gguf	Q3_K_L	4.43GB	false	较低品质但可用，适合低RAM环境。
Josiefied-Qwen3-8B-abliterated-v1-Q3_K_M.gguf	Q3_K_M	4.12GB	false	低品质。
Josiefied-Qwen3-8B-abliterated-v1-IQ3_M.gguf	IQ3_M	3.90GB	false	中低品质，新方法，性能与Q3_K_M相当。
Josiefied-Qwen3-8B-abliterated-v1-Q2_K_L.gguf	Q2_K_L	3.89GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Josiefied-Qwen3-8B-abliterated-v1-Q3_K_S.gguf	Q3_K_S	3.77GB	false	低品质，不推荐。
Josiefied-Qwen3-8B-abliterated-v1-IQ3_XS.gguf	IQ3_XS	3.63GB	false	较低