🚀 Qwen2-Audio-7B-Instruct量化模型

Qwen2-Audio-7B-Instruct模型的静态量化版本

📖 [详细介绍] • 💻 [使用方法] • 📦 [提供的量化版本]

🚀 关于

• 基础模型：Qwen/Qwen2-Audio-7B-Instruct
• 语言支持：英文
• 库名称：transformers
• 许可证：Apache 2.0
• 量化者：mradermacher
• 标签：聊天、音频、音频文本转文本

此为https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct 的静态量化版本。

加权/矩阵量化版本可在https://huggingface.co/mradermacher/Qwen2-Audio-7B-Instruct-i1-GGUF 获取。

💻 使用方法

如果您不确定如何使用GGUF文件，请参考TheBloke的README以获取更多详细信息，包括如何合并多部分文件。

📦 提供的量化版本

（按大小排序，不一定代表质量。IQ量化通常比类似大小的非IQ量化更好）

以下是ikawrakow制作的一个对比一些低质量量化类型的实用图表（值越低越好）：

以下是Artefact2对此事的看法：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

❓ 常见问题解答 / 模型请求

若您有相关问题或希望对其他模型进行量化，请参考https://huggingface.co/mradermacher/model_requests 以获取一些解答 。

🙏 致谢

感谢我的公司nethype GmbH，允许我使用其服务器并对我的工作站进行升级，使我能够在业余时 间完成这项工作。另外，感谢@nicoboss让我使用他的私有超级计算机，使我能够提供 更多更高质量的矩阵量化版本。