AIbase

L

Llama 3.2 3B Instruct Abliterated GGUF

由 ZeroWw 开发
一个经过优化的量化模型，输出和嵌入张量使用f16格式，其余张量使用q5_k或q6_k格式，体积更小且性能与纯f16相当。
大型语言模型
英语
开源协议:MIT#量化文本生成#f16/q5_k混合量化#低存储高性能
下载量 20
发布时间 : 10/8/2024
模型介绍
内容详情
替代品

模型简介

该模型是一个量化版本，通过优化张量格式，减小模型体积的同时保持性能。适用于需要高效推理的场景。

模型特点

高效量化
输出和嵌入张量使用f16格式，其余张量使用q5_k或q6_k格式，显著减小模型体积。
性能保留
量化后的模型性能与纯f16格式相当，适合高效推理。

模型能力

文本生成

使用案例

高效推理
轻量级文本生成
适用于资源受限的设备上进行文本生成任务。
模型体积更小，性能与纯f16相当。