🚀 Qwen2-Audio-7B-Instruct量化模型

Qwen2-Audio-7B-Instruct的加权/矩阵量化模型

📖 [详细文档] • 💻 [使用示例] • 📦 [量化模型说明]

📚 详细文档

基本信息

• 基础模型：Qwen/Qwen2-Audio-7B-Instruct
• 支持语言：英文
• 库名称：transformers
• 许可证：Apache 2.0
• 量化者：mradermacher
• 标签：聊天、音频、音频文本转文本

关于量化模型

本项目提供了 Qwen/Qwen2-Audio-7B-Instruct 的加权/矩阵量化模型。静态量化文件可在 这里 获取。

💻 使用示例

如果您不确定如何使用 GGUF 文件，请参考 TheBloke's READMEs 以获取更多详细信息，包括如何合并多部分文件。

📦 量化模型说明

（按大小排序，不一定按质量排序。在类似大小的量化模型中，IQ 量化通常比非 IQ 量化更可取）

量化模型对比图

以下是 ikawrakow 提供的一个有用图表，对比了一些低质量量化类型（值越低越好）：

相关观点

您还可以参考 Artefact2 关于此问题的观点：点击查看

❓ 常见问题 / 模型请求

如果您有一些问题需要解答，或者希望对其他模型进行量化，请参考 这里。

🙏 致谢

感谢我的公司 nethype GmbH，允许我使用其服务器并升级我的工作站，使我能够在业余时间完成这项工作。此外，感谢 @nicoboss 让我使用他的私人超级计算机，使我能够提供更多、质量更高的矩阵量化模型。