基础模型:

• SanjiWatsuki/Kunoichi-DPO-v2-7B 库名称: transformers 标签:
• mistral
• 量化
• 文本生成推理 管道标签: 文本生成 推理: 不支持 许可证: cc-by-nc-4.0

[!提示] 支持:
最近我的上传速度很不稳定且糟糕。
实际上我需要更换更好的网络服务提供商。
如果您愿意并且有能力的话...
可以在这里支持我的各项事业(Ko-fi)。
很抱歉影响了您的体验。

SanjiWatsuki/Kunoichi-DPO-v2-7B的GGUF-Imatrix量化版本

"Imatrix"是什么意思？

它代表重要性矩阵(Importance Matrix)，这是一种用于提升量化模型质量的技术。

Imatrix基于校准数据计算得出，有助于确定在量化过程中不同模型激活的重要性。其核心思想是在量化过程中保留最重要的信息，从而减少模型性能损失。

使用Imatrix的好处之一是能带来更好的模型表现，特别是当校准数据多样化时。

更多信息：[1] [2]

如需添加特定量化版本，欢迎提出请求。

所有荣誉归功于原作者。

基础模型→GGUF(F16)→Imatrix数据(F16)→GGUF(Imatrix量化)

使用llama.cpp-b2277版本。

Imatrix数据使用的是imatrix-Kunoichi-DPO-v2-7B-F16.dat。

角色卡片：

原始模型信息：