Cognitivecomputations Dolphin Mistral 24B Venice Edition GGUF

由 bartowski 开发

Dolphin-Mistral-24B-Venice-Edition的Llamacpp imatrix量化版本，支持多种量化类型，适用于文本生成任务。

大型语言模型开源协议:Apache-2.0 #高精度量化 #多场景文本生成 #低资源优化

下载量 4,718

发布时间 : 5/9/2025

模型介绍

内容详情

替代品

模型简介

这是一个基于Mistral架构的大语言模型，经过量化处理，可在本地运行，支持多种量化级别以适应不同硬件需求。

模型特点

多种量化选项

提供从BF16到IQ2_XS的多种量化版本，适应不同硬件配置和性能需求。

支持本地运行

可在LM Studio或llama.cpp等本地环境中运行，无需云端服务。

高性能文本生成

基于24B参数的Mistral架构，提供高质量的文本生成能力。

支持ARM/AVX优化

支持ARM和AVX硬件的在线重打包功能，提升推理速度。

模型能力

文本生成

对话系统

内容创作

使用案例

内容创作

文章写作

生成高质量的文章、博客或报告内容。

创意写作

生成故事、诗歌或其他创意文本。

对话系统

智能助手

构建本地运行的智能对话助手。

量化者：bartowski
流水线标签：文本生成
许可证：Apache-2.0
基础模型关联：量化版
基础模型：cognitivecomputations/Dolphin-Mistral-24B-Venice-Edition

cognitivecomputations的Dolphin-Mistral-24B-Venice-Edition的Llamacpp imatrix量化版本

使用llama.cpp发布的b5317版本进行量化。

原始模型：https://huggingface.co/cognitivecomputations/Dolphin-Mistral-24B-Venice-Edition

所有量化均使用imatrix选项，数据集来自此处。

可在LM Studio中运行。

也可直接使用llama.cpp或任何基于llama.cpp的项目运行。

提示格式

<s>[SYSTEM_PROMPT]{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
Dolphin-Mistral-24B-Venice-Edition-bf16.gguf	bf16	47.15GB	false	完整的BF16权重。
Dolphin-Mistral-24B-Venice-Edition-Q8_0.gguf	Q8_0	25.05GB	false	极高品质，通常不需要但为最高可用量化版本。
Dolphin-Mistral-24B-Venice-Edition-Q6_K_L.gguf	Q6_K_L	19.67GB	false	嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q6_K.gguf	Q6_K	19.35GB	false	极高品质，接近完美，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q5_K_L.gguf	Q5_K_L	17.18GB	false	嵌入和输出权重使用Q8_0。高品质，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q5_K_M.gguf	Q5_K_M	16.76GB	false	高品质，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q5_K_S.gguf	Q5_K_S	16.30GB	false	高品质，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q4_1.gguf	Q4_1	14.87GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上功耗表现更优。
Dolphin-Mistral-24B-Venice-Edition-Q4_K_L.gguf	Q4_K_L	14.83GB	false	嵌入和输出权重使用Q8_0。良好品质，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q4_K_M.gguf	Q4_K_M	14.33GB	false	良好品质，适用于大多数场景的默认大小，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q4_K_S.gguf	Q4_K_S	13.55GB	false	品质稍低但节省更多空间，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q4_0.gguf	Q4_0	13.49GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
Dolphin-Mistral-24B-Venice-Edition-IQ4_NL.gguf	IQ4_NL	13.47GB	false	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
Dolphin-Mistral-24B-Venice-Edition-Q3_K_XL.gguf	Q3_K_XL	12.99GB	false	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
Dolphin-Mistral-24B-Venice-Edition-IQ4_XS.gguf	IQ4_XS	12.76GB	false	品质尚可，比Q4_K_S更小但性能相近，推荐。
Dolphin-Mistral-24B-Venice-Edition-Q3_K_L.gguf	Q3_K_L	12.40GB	false	品质较低但可用，适合低RAM环境。
Dolphin-Mistral-24B-Venice-Edition-Q3_K_M.gguf	Q3_K_M	11.47GB	false	低品质。
Dolphin-Mistral-24B-Venice-Edition-IQ3_M.gguf	IQ3_M	10.65GB	false	中低品质，新方法，性能与Q3_K_M相当。
Dolphin-Mistral-24B-Venice-Edition-Q3_K_S.gguf	Q3_K_S	10.40GB	false	低品质，不推荐。
Dolphin-Mistral-24B-Venice-Edition-IQ3_XS.gguf	IQ3_XS	9.91GB	false	较低品质，新方法，性能略优于Q3_K_S。
Dolphin-Mistral-24B-Venice-Edition-Q2_K_L.gguf	Q2_K_L	9.55GB	false	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Dolphin-Mistral-24B-Venice-Edition-IQ3_XXS.gguf	IQ3_XXS	9.28GB	false	较低品质，新方法，性能与Q3量化相当。
Dolphin-Mistral-24B-Venice-Edition-Q2_K.gguf	Q2_K	8.89GB	false	极低品质但意外可用。
Dolphin-Mistral-24B-Venice-Edition-IQ2_M.gguf	IQ2_M	8.11GB	false	相对低品质，使用SOTA技术实现意外可用性。
Dolphin-Mistral-24B-Venice-Edition-IQ2_S.gguf	IQ2_S	7.48GB	false	低品质，使用SOTA技术实现可用性。
Dolphin-Mistral-24B-Venice-Edition-IQ2_XS.gguf	IQ2_XS	7.21GB	false	低品质，使用SOTA技术实现可用性。

嵌入/输出权重

部分量化版本（如Q3_K_XL、Q4_K_L等）为标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。

使用huggingface-cli下载

点击查看下载说明

首先确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，可以指定目标文件：

huggingface-cli download bartowski/cognitivecomputations_Dolphin-Mistral-24B-Venice-Edition-GGUF --include "cognitivecomputations_Dolphin-Mistral-24B-Venice-Edition-Q4_K_M.gguf" --local-dir ./

如果模型超过50GB，可能已分割为多个文件。要下载全部文件到本地目录，运行：

huggingface-cli download bartowski/cognitivecomputations_Dolphin-Mistral-24B-Venice-Edition-GGUF --include "cognitivecomputations_Dolphin-Mistral-24B-Venice-Edition-Q8_0/*" --local-dir ./

可以指定新的本地目录（如cognitivecomputations_Dolphin-Mistral-24B-Venice-Edition-Q8_0）或直接下载到当前目录（./）。