🚀 openchat-3.6-8b-20240522-IMat-GGUF

本项目是对 openchat/openchat-3.6-8b-20240522 模型进行 Llama.cpp imatrix 量化处理后的版本。提供了不同量化类型的文件，方便用户根据自身需求进行下载和使用。

原始模型：openchat/openchat-3.6-8b-20240522
原始数据类型：BF16 (bfloat16)
量化工具：llama.cpp b3006
IMatrix 数据集：点击查看

📦 文件信息

IMatrix

状态：✅ 可用
链接：点击下载

常用量化文件

所有量化文件

🚀 快速开始

使用 huggingface-cli 下载

如果你还没有安装 huggingface-cli，可以使用以下命令进行安装：

pip install -U "huggingface_hub[cli]"

下载你需要的特定文件：

huggingface-cli download legraphista/openchat-3.6-8b-20240522-IMat-GGUF --include "openchat-3.6-8b-20240522.Q8_0.gguf" --local-dir ./

如果模型文件较大，可能已被拆分为多个文件。要将它们全部下载到本地文件夹，请运行以下命令：

huggingface-cli download legraphista/openchat-3.6-8b-20240522-IMat-GGUF --include "openchat-3.6-8b-20240522.Q8_0/*" --local-dir openchat-3.6-8b-20240522.Q8_0
# 合并 GGUF 文件的方法请参考 FAQ

💻 使用示例

简单聊天模板

<|begin_of_text|><|start_header_id|>GPT4 Correct User<|end_header_id|>

Can you provide ways to eat combinations of bananas and dragonfruits?<|eot_id|><|start_header_id|>GPT4 Correct Assistant<|end_header_id|>

Sure! Here are some ways to eat bananas and dragonfruits together:
 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey.
 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey.<|eot_id|><|start_header_id|>GPT4 Correct User<|end_header_id|>

What about solving an 2x + 3 = 7 equation?<|eot_id|>

带系统提示的聊天模板

<|begin_of_text|><|start_header_id|>System<|end_header_id|>

You are a helpful AI.<|eot_id|><|start_header_id|>GPT4 Correct User<|end_header_id|>

Can you provide ways to eat combinations of bananas and dragonfruits?<|eot_id|><|start_header_id|>GPT4 Correct Assistant<|end_header_id|>

Sure! Here are some ways to eat bananas and dragonfruits together:
 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey.
 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey.<|eot_id|><|start_header_id|>GPT4 Correct User<|end_header_id|>

What about solving an 2x + 3 = 7 equation?<|eot_id|>

使用 Llama.cpp 进行推理

llama.cpp/main -m openchat-3.6-8b-20240522.Q8_0.gguf --color -i -p "prompt here (according to the chat template)"

❓ 常见问题解答

为什么 IMatrix 没有应用到所有地方？

根据 这项调查，似乎只有较低的量化类型能从 imatrix 输入中受益（根据 hellaswag 结果）。

如何合并拆分的 GGUF 文件？

1. 确保你已经有 gguf-split 工具：
   • 要获取 gguf-split，请访问 https://github.com/ggerganov/llama.cpp/releases。
   • 从最新版本中下载适合你系统的压缩包。
   • 解压压缩包后，你应该能找到 gguf-split 工具。
2. 找到你的 GGUF 拆分文件所在的文件夹（例如：openchat-3.6-8b-20240522.Q8_0）。
3. 运行以下命令进行合并：

gguf-split --merge openchat-3.6-8b-20240522.Q8_0/openchat-3.6-8b-20240522.Q8_0-00001-of-XXXXX.gguf openchat-3.6-8b-20240522.Q8_0.gguf

请确保将 gguf-split 指向拆分文件中的第一个文件。

如果你有任何建议，欢迎在 @legraphista 联系我！