Dolphin3.0 Llama3.2 3B GGUF

由 bartowski 开发

基于Llama3.2架构的3B参数大语言模型，支持英文文本生成任务，采用llama.cpp进行imatrix量化

大型语言模型

英语

#多任务指令微调 #代码生成优化 #数学推理增强

下载量 5,665

发布时间 : 1/5/2025

模型介绍

内容详情

替代品

模型简介

这是一个经过量化的3B参数大语言模型，基于Llama3.2架构，专门优化了文本生成能力。模型支持英文，适用于多种自然语言处理任务。

模型特点

高效量化

使用llama.cpp进行imatrix量化，提供多种量化选项以适应不同硬件需求

多数据集训练

融合了12个高质量训练数据集，包括代码、数学和通用语言理解任务

兼容性强

可在LM Studio等环境中运行，支持多种量化格式

模型能力

英文文本生成

代码理解与生成

数学问题解答

指令跟随

使用案例

编程辅助

代码生成

根据自然语言描述生成代码片段

代码解释

解释现有代码的功能和逻辑

教育

数学问题解答

解决数学应用题和理论问题

通用AI助手

对话交互

作为智能助手进行自然语言对话

量化作者：bartowski
流水线标签：文本生成
支持语言：英文
基础模型：cognitivecomputations/Dolphin3.0-Llama3.2-3B
许可证：llama3.2
训练数据集：

OpenCoder-LLM/opc-sft-stage1
OpenCoder-LLM/opc-sft-stage2
microsoft/orca-agentinstruct-1M-v1
microsoft/orca-math-word-problems-200k
NousResearch/hermes-function-calling-v1
AI-MO/NuminaMath-CoT
AI-MO/NuminaMath-TIR
allenai/tulu-3-sft-mixture
cognitivecomputations/dolphin-coder
HuggingFaceTB/smoltalk
cognitivecomputations/samantha-data
m-a-p/CodeFeedback-Filtered-Instruction
m-a-p/Code-Feedback

Dolphin3.0-Llama3.2-3B的Llamacpp imatrix量化版本

使用llama.cpp发布的b4418版本进行量化。

原始模型：https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-3B

所有量化均采用imatrix选项，数据集来自此处

可在LM Studio中运行。

提示词格式

<|im_start|>system
{系统提示}<|im_end|>
<|im_start|>user
{用户输入}<|im_end|>
<|im_start|>assistant

下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
Dolphin3.0-Llama3.2-3B-f32.gguf	f32	12.86GB	false	完整的F32权重。
Dolphin3.0-Llama3.2-3B-f16.gguf	f16	6.43GB	false	完整的F16权重。
Dolphin3.0-Llama3.2-3B-Q8_0.gguf	Q8_0	3.42GB	false	极高品质，通常无需但为最高可用量化。
Dolphin3.0-Llama3.2-3B-Q6_K_L.gguf	Q6_K_L	2.74GB	false	嵌入和输出权重使用Q8_0。极高质量，接近完美，推荐。
Dolphin3.0-Llama3.2-3B-Q6_K.gguf	Q6_K	2.64GB	false	极高质量，接近完美，推荐。
Dolphin3.0-Llama3.2-3B-Q5_K_L.gguf	Q5_K_L	2.42GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
Dolphin3.0-Llama3.2-3B-Q5_K_M.gguf	Q5_K_M	2.32GB	false	高质量，推荐。
Dolphin3.0-Llama3.2-3B-Q5_K_S.gguf	Q5_K_S	2.27GB	false	高质量，推荐。
Dolphin3.0-Llama3.2-3B-Q4_K_L.gguf	Q4_K_L	2.11GB	false	嵌入和输出权重使用Q8_0。良好质量，推荐。
Dolphin3.0-Llama3.2-3B-Q4_1.gguf	Q4_1	2.09GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上能效更优。
Dolphin3.0-Llama3.2-3B-Q4_K_M.gguf	Q4_K_M	2.02GB	false	良好质量，多数场景的默认选择，推荐。
Dolphin3.0-Llama3.2-3B-Q4_K_S.gguf	Q4_K_S	1.93GB	false	质量略低但更节省空间，推荐。
Dolphin3.0-Llama3.2-3B-Q4_0.gguf	Q4_0	1.92GB	false	传统格式，支持ARM和AVX CPU推理的在线重打包。
Dolphin3.0-Llama3.2-3B-IQ4_NL.gguf	IQ4_NL	1.92GB	false	类似IQ4_XS但稍大。支持ARM CPU推理的在线重打包。
Dolphin3.0-Llama3.2-3B-Q3_K_XL.gguf	Q3_K_XL	1.91GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合低内存环境。
Dolphin3.0-Llama3.2-3B-IQ4_XS.gguf	IQ4_XS	1.83GB	false	尚可质量，比Q4_K_S更小且性能相近，推荐。
Dolphin3.0-Llama3.2-3B-Q3_K_L.gguf	Q3_K_L	1.82GB	false	质量较低但可用，适合低内存环境。
Dolphin3.0-Llama3.2-3B-Q3_K_M.gguf	Q3_K_M	1.69GB	false	低质量。
Dolphin3.0-Llama3.2-3B-IQ3_M.gguf	IQ3_M	1.60GB	false	中低质量，新方法性能与Q3_K_M相当。
Dolphin3.0-Llama3.2-3B-Q3_K_S.gguf	Q3_K_S	1.54GB	false	低质量，不推荐。
Dolphin3.0-Llama3.2-3B-IQ3_XS.gguf	IQ3_XS	1.48GB	false	较低质量，新方法性能略优于Q3_K_S。
Dolphin3.0-Llama3.2-3B-Q2_K_L.gguf	Q2_K_L	1.46GB	false	嵌入和输出权重使用Q8_0。极低质量但意外可用。
Dolphin3.0-Llama3.2-3B-Q2_K.gguf	Q2_K	1.36GB	false	极低质量但意外可用。
Dolphin3.0-Llama3.2-3B-IQ2_M.gguf	IQ2_M	1.23GB	false	相对低质量