🚀 ToriiGate-v0.4-7B量化模型

本项目提供了 Minthy/ToriiGate-v0.4-7B 模型的静态量化版本，适用于多模态、视觉、图像文本到文本等任务。

📦 模型信息

🚀 快速开始

关于

这是 https://huggingface.co/Minthy/ToriiGate-v0.4-7B 的静态量化版本。加权/矩阵量化文件可在 https://huggingface.co/mradermacher/ToriiGate-v0.4-7B-i1-GGUF 获取。

使用方法

如果您不确定如何使用 GGUF 文件，请参考 TheBloke 的 README 以获取更多详细信息，包括如何拼接多部分文件。

📄 提供的量化版本

（按大小排序，不一定按质量排序。IQ 量化通常比类似大小的非 IQ 量化更优）

这里有一张由 ikawrakow 提供的方便的图表，比较了一些低质量量化类型（值越低越好）：

另外，这里是 Artefact2 对此事的看法：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 常见问题与模型请求

如果您有任何问题，或者希望对其他模型进行量化，请参考 https://huggingface.co/mradermacher/model_requests。

🙏 致谢

感谢我的公司 nethype GmbH，允许我使用其服务器，并对我的工作站进行升级，使我能够在业余时间完成这项工作。此外，感谢 @nicoboss 让我使用他的私人超级计算机，使我能够提供更多、质量更高的矩阵量化文件。