AIbase

Q

Qwen3 4B GGUF

由 ZeroWw 开发
一个经过量化的文本生成模型，输出和嵌入张量采用f16格式，其余张量采用q5_k或q6_k量化，体积更小且性能与纯f16版本持平。
大型语言模型
英语
开源协议:MIT#量化文本生成#f16嵌入优化#低存储需求
下载量 495
发布时间 : 4/29/2025
模型介绍
内容详情
替代品

模型简介

该模型是一个量化版本的文本生成模型，通过优化张量格式减少模型体积，同时保持与原始版本相当的性能。

模型特点

高效量化
输出和嵌入张量采用f16格式，其余张量采用q5_k或q6_k量化，显著减少模型体积。
性能保持
量化后的模型性能与纯f16版本持平，无明显性能损失。
体积优化
f16.q6与f16.q5的体积均小于标准q8_0量化，更适合资源受限的环境。

模型能力

文本生成

使用案例

文本生成
内容创作
用于生成文章、故事或其他文本内容。
对话系统
用于构建聊天机器人或对话助手。