基础模型: 阿里巴巴NLP/gte-Qwen2-1.5B-instruct 语言:

• 英文 库名称: transformers 许可证: apache-2.0 量化者: mradermacher 标签:
• mteb
• sentence-transformers
• transformers
• Qwen2
• 句子相似度

关于

静态量化版本来自 https://huggingface.co/Alibaba-NLP/gte-Qwen2-1.5B-instruct

目前暂未提供加权/重要性矩阵量化版本（由我提供）。如果静态量化版本发布一周后仍未出现这类量化文件，可能代表我暂无相关计划。欢迎通过社区讨论发起请求。

使用指南

若不确定如何使用GGUF文件，请参考TheBloke的使用说明获取详细信息，包括如何合并多部分文件。

提供的量化版本

（按体积排序，质量可能不同。通常IQ量化优于同体积非IQ量化）

ikawrakow制作的实用图表对比了几种低质量量化类型（数值越低越好）：

另附Artefact2对此的观点： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常见问题/模型请求

访问 https://huggingface.co/mradermacher/model_requests 查看可能的问题解答，或申请其他模型的量化版本。

致谢

感谢我的公司nethype GmbH允许我使用服务器资源，并为我的工作站提供升级，使我能在业余时间完成这项工作。