量化者：bartowski
任务类型：文本生成
许可协议：其他
基础模型：TheDrummer/Skyfall-36B-v2

TheDrummer的Skyfall-36B-v2模型Llamacpp imatrix量化版本

使用llama.cpp发布的b4688版本进行量化。

原始模型：https://huggingface.co/TheDrummer/Skyfall-36B-v2

所有量化均采用imatrix选项，数据集来自此处。

可在LM Studio中运行。

也可直接使用llama.cpp或任何基于llama.cpp的项目运行。

提示词格式

<s>[SYSTEM_PROMPT]{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]

从下方下载单个文件（非整个分支）：

嵌入/输出权重

部分量化（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"  

huggingface-cli download bartowski/TheDrummer_Skyfall-36B-v2-GGUF --include "TheDrummer_Skyfall-36B-v2-Q4_K_M.gguf" --local-dir ./  

huggingface-cli download bartowski/TheDrummer_Skyfall-36B-v2-GGUF --include "TheDrummer_Skyfall-36B-v2-Q8_0/*" --local-dir ./  

ARM/AVX信息

此前需下载Q4_0_4_4/4_8/8_8等文件，其权重在内存中交错排列以提升ARM和AVX设备的性能。

现通过此PR实现了权重的"在线重打包"。若使用Q4_0且硬件支持重打包，将自动实时处理。

自llama.cpp构建版本b4282起，无法运行Q4_0_X_X文件，需改用Q4_0。

此外，通过此PR可使用IQ4_NL获得略高品质，其同样支持ARM权重重打包（目前仅4_4）。加载时间可能较长，但会带来整体速度提升。