Llama 3 70B Instruct Abliterated GGUF

由 bartowski 开发

基于Meta LLaMA-3 70B的指令微调模型，经过量化处理，适用于本地部署和高效推理。

大型语言模型 #70B大模型 #多级量化 #文本生成

下载量 686

发布时间 : 5/16/2024

模型介绍

内容详情

替代品

模型简介

这是一个70B参数规模的大型语言模型，专门针对指令跟随任务进行了优化，适用于各种文本生成场景。

模型特点

高效量化

提供从Q8_0到IQ1_S的多种量化级别，满足不同硬件条件下的部署需求

指令优化

专门针对指令跟随任务进行微调，能够更好地理解和执行用户指令

本地部署

通过GGUF格式支持本地运行，无需依赖云端服务

高性能推理

即使在高压缩率下仍能保持较好的生成质量

模型能力

文本生成

指令理解

对话系统

内容创作

使用案例

智能助手

个人助理

用于日常问答、日程安排等个人助理功能

内容创作

文章写作

辅助撰写各类文章、报告等文本内容

教育

学习辅导

为学生提供学习辅导和知识解答

许可证: llama3
许可证名称: llama3
许可证链接: LICENSE
库名称: transformers
量化者: bartowski
流水线标签: 文本生成

llama-3-70B-Instruct-abliterated 的 Llamacpp imatrix 量化版本

使用 llama.cpp 发布的 b2854 版本进行量化。

原始模型: https://huggingface.co/failspy/llama-3-70B-Instruct-abliterated

所有量化均使用 imatrix 选项，数据集来自此处。

提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{系统提示}<|eot_id|><|start_header_id|>user<|end_header_id|>

{用户提示}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

从下方下载文件（非整个分支）:

文件名	量化类型	文件大小	描述
llama-3-70B-Instruct-abliterated-Q8_0.gguf	Q8_0	74.97GB	极高品质，通常不需要，但为最高可用量化版本。
llama-3-70B-Instruct-abliterated-Q6_K.gguf	Q6_K	57.88GB	极高品质，接近完美，推荐。
llama-3-70B-Instruct-abliterated-Q5_K_M.gguf	Q5_K_M	49.94GB	高品质，推荐。
llama-3-70B-Instruct-abliterated-Q5_K_S.gguf	Q5_K_S	48.65GB	高品质，推荐。
llama-3-70B-Instruct-abliterated-Q4_K_M.gguf	Q4_K_M	42.52GB	良好品质，每个权重约使用 4.83 位，推荐。
llama-3-70B-Instruct-abliterated-Q4_K_S.gguf	Q4_K_S	40.34GB	品质稍低但节省更多空间，推荐。
llama-3-70B-Instruct-abliterated-IQ4_NL.gguf	IQ4_NL	40.05GB	尚可品质，比 Q4_K_S 稍小，性能相近，推荐。
llama-3-70B-Instruct-abliterated-IQ4_XS.gguf	IQ4_XS	37.90GB	尚可品质，比 Q4_K_S 更小，性能相近，推荐。
llama-3-70B-Instruct-abliterated-Q3_K_L.gguf	Q3_K_L	37.14GB	品质较低但仍可用，适合内存有限的情况。
llama-3-70B-Instruct-abliterated-Q3_K_M.gguf	Q3_K_M	34.26GB	品质更低。
llama-3-70B-Instruct-abliterated-IQ3_M.gguf	IQ3_M	31.93GB	中低品质，新方法，性能与 Q3_K_M 相当。
llama-3-70B-Instruct-abliterated-IQ3_S.gguf	IQ3_S	30.91GB	较低品质，新方法，性能尚可，推荐替代 Q3_K_S 量化，相同大小但性能更优。
llama-3-70B-Instruct-abliterated-Q3_K_S.gguf	Q3_K_S	30.91GB	低品质，不推荐。
llama-3-70B-Instruct-abliterated-IQ3_XS.gguf	IQ3_XS	29.30GB	较低品质，新方法，性能略优于 Q3_K_S。
llama-3-70B-Instruct-abliterated-IQ3_XXS.gguf	IQ3_XXS	27.46GB	较低品质，新方法，性能与 Q3 量化相当。
llama-3-70B-Instruct-abliterated-Q2_K.gguf	Q2_K	26.37GB	极低品质但意外可用。
llama-3-70B-Instruct-abliterated-IQ2_M.gguf	IQ2_M	24.11GB	极低品质，使用前沿技术使其意外可用。
llama-3-70B-Instruct-abliterated-IQ2_S.gguf	IQ2_S	22.24GB	极低品质，使用前沿技术使其可用。
llama-3-70B-Instruct-abliterated-IQ2_XS.gguf	IQ2_XS	21.14GB	极低品质，使用前沿技术使其可用。
llama-3-70B-Instruct-abliterated-IQ2_XXS.gguf	IQ2_XXS	19.09GB	较低品质，使用前沿技术使其可用。
llama-3-70B-Instruct-abliterated-IQ1_M.gguf	IQ1_M	16.75GB	极低品质，不推荐。
llama-3-70B-Instruct-abliterated-IQ1_S.gguf	IQ1_S	15.34GB	极低品质，不推荐。

使用 huggingface-cli 下载

首先，确保已安装 huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，可以指定目标文件：

huggingface-cli download bartowski/llama-3-70B-Instruct-abliterated-GGUF --include "llama-3-70B-Instruct-abliterated-Q4_K_M.gguf" --local-dir ./ --local-dir-use-symlinks False

如果模型大小超过 50GB，则会拆分为多个文件。要下载所有文件到本地文件夹，运行：

huggingface-cli download bartowski/llama-3-70B-Instruct-abliterated-GGUF --include "llama-3-70B-Instruct-abliterated-Q8_0.gguf/*" --local-dir llama-3-70B-Instruct-abliterated-Q8_0 --local-dir-use-symlinks False

可以指定新的本地目录（如 llama-3-70B-Instruct-abliterated-Q8_0），或直接下载到当前目录（./）。