Rombo Org Rombo LLM V3.1 QWQ 32b GGUF

由 bartowski 开发

Rombo-LLM-V3.1-QWQ-32b是一个32B参数规模的大型语言模型，经过llama.cpp的imatrix量化处理，提供多种量化版本以适应不同硬件需求。

大型语言模型开源协议:Apache-2.0 #高精度量化 #多场景文本生成 #低内存优化

下载量 2,132

发布时间 : 3/6/2025

模型介绍

内容详情

替代品

模型简介

该模型是一个高性能的大型语言模型，适用于文本生成任务，支持在LM Studio或基于llama.cpp的项目中运行。

模型特点

多种量化版本

提供从Q8_0到Q2_K的多种量化版本，适应不同硬件和性能需求。

高性能文本生成

作为32B参数的大型语言模型，具备强大的文本生成能力。

广泛兼容性

支持在LM Studio、llama.cpp及基于llama.cpp的项目中运行。

模型能力

文本生成

对话系统

内容创作

使用案例

内容创作

文章写作

生成高质量的文章或博客内容

生成流畅、连贯的文本

对话系统

构建智能对话助手

提供自然流畅的对话体验

教育

学习辅助

帮助学生解答问题或解释概念

提供准确、易懂的解释

量化者：bartowski
流水线标签：文本生成
许可证：apache-2.0
基础模型：Rombo-Org/Rombo-LLM-V3.1-QWQ-32b

Rombo-Org的Rombo-LLM-V3.1-QWQ-32b的Llamacpp imatrix量化版本

使用llama.cpp发布的b4792进行量化。

原始模型：https://huggingface.co/Rombo-Org/Rombo-LLM-V3.1-QWQ-32b

所有量化均使用imatrix选项，数据集来自此处

可在LM Studio中运行

也可直接使用llama.cpp或任何基于llama.cpp的项目运行

提示格式

<|im_start|>system  
{系统提示}<|im_end|>  
<|im_start|>user  
{提示}<|im_end|>  
<|im_start|>assistant  
<think>

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分割	描述
Rombo-LLM-V3.1-QWQ-32b-Q8_0.gguf	Q8_0	34.82GB	false	极高品质，通常不需要但为最高可用量化。
Rombo-LLM-V3.1-QWQ-32b-Q6_K_L.gguf	Q6_K_L	27.26GB	false	嵌入和输出权重使用Q8_0。极高质量，接近完美，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q6_K.gguf	Q6_K	26.89GB	false	极高质量，接近完美，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q5_K_L.gguf	Q5_K_L	23.74GB	false	嵌入和输出权重使用Q8_0。高质量，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q5_K_M.gguf	Q5_K_M	23.26GB	false	高质量，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q5_K_S.gguf	Q5_K_S	22.64GB	false	高质量，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q4_1.gguf	Q4_1	20.64GB	false	传统格式，性能类似Q4_K_S，但在Apple芯片上每瓦特生成的令牌数有所提升。
Rombo-LLM-V3.1-QWQ-32b-Q4_K_L.gguf	Q4_K_L	20.43GB	false	嵌入和输出权重使用Q8_0。良好质量，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q4_K_M.gguf	Q4_K_M	19.85GB	false	良好质量，大多数用例的默认大小，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q4_K_S.gguf	Q4_K_S	18.78GB	false	质量稍低但节省更多空间，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q4_0.gguf	Q4_0	18.71GB	false	传统格式，为ARM和AVX CPU推理提供在线重打包功能。
Rombo-LLM-V3.1-QWQ-32b-IQ4_NL.gguf	IQ4_NL	18.68GB	false	类似IQ4_XS，但稍大。为ARM CPU推理提供在线重打包功能。
Rombo-LLM-V3.1-QWQ-32b-Q3_K_XL.gguf	Q3_K_XL	17.93GB	false	嵌入和输出权重使用Q8_0。质量较低但可用，适合内存有限的场景。
Rombo-LLM-V3.1-QWQ-32b-IQ4_XS.gguf	IQ4_XS	17.69GB	false	质量尚可，比Q4_K_S更小但性能相似，推荐。
Rombo-LLM-V3.1-QWQ-32b-Q3_K_L.gguf	Q3_K_L	17.25GB	false	质量较低但可用，适合内存有限的场景。
Rombo-LLM-V3.1-QWQ-32b-Q3_K_M.gguf	Q3_K_M	15.94GB	false	质量较低。
Rombo-LLM-V3.1-QWQ-32b-IQ3_M.gguf	IQ3_M	14.81GB	false	中低质量，新方法，性能与Q3_K_M相当。
Rombo-LLM-V3.1-QWQ-32b-Q3_K_S.gguf	Q3_K_S	14.39GB	false	质量较低，不推荐。
Rombo-LLM-V3.1-QWQ-32b-IQ3_XS.gguf	IQ3_XS	13.71GB	false	质量较低，新方法，性能略优于Q3_K_S。
Rombo-LLM-V3.1-QWQ-32b-Q2_K_L.gguf	Q2_K_L	13.07GB	false	嵌入和输出权重使用Q8_0。质量非常低但出奇地可用。
Rombo-LLM-V3.1-QWQ-32b-IQ3_XXS.gguf	IQ3_XXS	12.84GB	false	质量较低，新方法，性能与Q3量化相当。
Rombo-LLM-V3.1-QWQ-32b-Q2_K.gguf	Q2_K	12.31GB	false	质量非常低但出奇地可用。
[Rombo-LLM-V3.1-QWQ-32b-IQ2_M.gguf](https://huggingface.co/bartowski/Rombo-Org_Rombo-LLM-V3.1-QWQ-32b-GGUF/blob/main/Rombo-Org_Rombo-LLM-V3.1