🚀 DrMedra4B 医学模型量化文档

基于 DRMedra4B 模型的医学领域量化模型介绍

📖 [详细文档] • 🚀 [快速开始] • 💻 [使用示例]

📚 详细文档

基本信息

关于

（### 量化版本：2 ） （### 输出张量量化：1 ） （### 转换类型：hf ） （### 词汇类型： ） （### 标签：nicoboss ）

https://huggingface.co/drwlf/DrMedra4B 的加权/矩阵量化

静态量化文件可在 https://huggingface.co/mradermacher/DrMedra4B - GGUF 获取

使用方法

如果您不确定如何使用 GGUF 文件，请参考 [TheBloke 的 README](https://huggingface.co/TheBloke/KafkaLM - 70B - German - V0.1 - GGUF) 以获取更多详细信息，包括如何拼接多部分文件。

提供的量化文件

（按大小排序，不一定按质量排序。IQ 量化通常比相同大小的非 IQ 量化更优）

以下是 ikawrakow 提供的比较一些低质量量化类型的直观图表（值越低越好）：

以下是 Artefact2 对此事的看法： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

常见问题解答 / 模型请求

您可以访问 https://huggingface.co/mradermacher/model_requests 获取一些常见问题的答案，并且如果您需要对其他模型进行量化，也可在此提出需求。

致谢

感谢我的公司 nethype GmbH 让我使用其服务器，并对我的工作站进行升级，使我能够在业余时间完成这项工作。此外，感谢 @nicoboss 让我使用他的私人超级计算机，使我能够提供更多、质量更高的矩阵量化文件。