模型介绍
内容详情
替代品
模型简介
这是一个30B参数的大语言模型，经过量化处理，适用于多种硬件环境。主要用于文本生成、角色扮演和对话式任务。
模型特点
多种量化选项
提供从Q8_0到IQ2_XXS的多种量化选项，满足不同硬件需求。
高性能推理
使用imatrix量化技术，优化推理性能，适合低RAM环境。
角色扮演支持
特别优化用于角色扮演和对话式任务，提供更自然的交互体验。
多平台兼容
支持在LM Studio、llama.cpp等多种平台上运行。
模型能力
文本生成
角色扮演
对话式交互
多语言支持
使用案例
娱乐
角色扮演游戏
用于生成角色扮演游戏的对话内容，提供沉浸式体验。
生成自然流畅的对话，增强游戏互动性。
教育
语言学习助手
作为语言学习助手，帮助用户练习对话和写作。
提供多语言支持，帮助用户提高语言能力。
量化者：bartowski
任务标签：文本生成
标签：
- mergekit
- axolotl
- unsloth
- 角色扮演
- 对话式
数据集：
- PygmalionAI/PIPPA
- Alfitaria/nemotron-ultra-reasoning-synthkink
- PocketDoc/Dans-Prosemaxx-Gutenberg
- FreedomIntelligence/Medical-R1-Distill-Data
- cognitivecomputations/SystemChat-2.0
- allenai/tulu-3-sft-personas-instruction-following
- kalomaze/Opus_Instruct_25k
- simplescaling/s1K-claude-3-7-sonnet
- ai2-adapt-dev/flan_v2_converted
- grimulkan/theory-of-mind
- grimulkan/physical-reasoning
- nvidia/HelpSteer3
- nbeerbower/gutenberg2-dpo
- nbeerbower/gutenberg-moderne-dpo
- nbeerbower/Purpura-DPO
- antiven0m/physical-reasoning-dpo
- allenai/tulu-3-IF-augmented-on-policy-70b
- NobodyExistsOnTheInternet/system-message-DPO
基础模型：allura-org/Q3-30B-A3B-Designant
基础模型关系：量化版
allura-org的Q3-30B-A3B-Designant的Llamacpp imatrix量化版本
原始模型：https://huggingface.co/allura-org/Q3-30B-A3B-Designant
所有量化均使用imatrix选项，数据集来自此处
在LM Studio中运行这些模型
直接使用llama.cpp或任何其他基于llama.cpp的项目运行
提示格式
<|im_start|>system
{系统提示}<|im_end|>
<|im_start|>user
{用户输入}<|im_end|>
<|im_start|>assistant
从下方下载单个文件（非整个分支）：
| 文件名 | 量化类型 | 文件大小 | 是否分片 | 描述 |
|---|---|---|---|---|
| Q3-30B-A3B-Designant-bf16.gguf | bf16 | 61.10GB | 是 | 完整的BF16权重。 |
| Q3-30B-A3B-Designant-Q8_0.gguf | Q8_0 | 32.48GB | 否 | 极高品质，通常不需要，但提供最高可用量化。 |
| Q3-30B-A3B-Designant-Q6_K_L.gguf | Q6_K_L | 25.24GB | 否 | 嵌入和输出权重使用Q8_0。极高品质，接近完美，推荐。 |
| Q3-30B-A3B-Designant-Q6_K.gguf | Q6_K | 25.09GB | 否 | 极高品质，接近完美，推荐。 |
| Q3-30B-A3B-Designant-Q5_K_L.gguf | Q5_K_L | 21.92GB | 否 | 嵌入和输出权重使用Q8_0。高品质，推荐。 |
| Q3-30B-A3B-Designant-Q5_K_M.gguf | Q5_K_M | 21.73GB | 否 | 高品质，推荐。 |
| Q3-30B-A3B-Designant-Q5_K_S.gguf | Q5_K_S | 21.08GB | 否 | 高品质，推荐。 |
| Q3-30B-A3B-Designant-Q4_1.gguf | Q4_1 | 19.19GB | 否 | 旧格式，性能类似Q4_K_S，但在Apple芯片上改进了token/瓦特比。 |
| Q3-30B-A3B-Designant-Q4_K_L.gguf | Q4_K_L | 18.79GB | 否 | 嵌入和输出权重使用Q8_0。良好品质，推荐。 |
| Q3-30B-A3B-Designant-Q4_K_M.gguf | Q4_K_M | 18.56GB | 否 | 良好品质，大多数用例的默认大小，推荐。 |
| Q3-30B-A3B-Designant-Q4_K_S.gguf | Q4_K_S | 17.46GB | 否 | 品质略低但节省更多空间，推荐。 |
| Q3-30B-A3B-Designant-Q4_0.gguf | Q4_0 | 17.38GB | 否 | 旧格式，为ARM和AVX CPU推理提供在线重新打包功能。 |
| Q3-30B-A3B-Designant-IQ4_NL.gguf | IQ4_NL | 17.31GB | 否 | 类似IQ4_XS，但稍大。为ARM CPU推理提供在线重新打包功能。 |
| Q3-30B-A3B-Designant-IQ4_XS.gguf | IQ4_XS | 16.37GB | 否 | 尚可品质，比Q4_K_S更小但性能相似，推荐。 |
| Q3-30B-A3B-Designant-Q3_K_XL.gguf | Q3_K_XL | 16.17GB | 否 | 嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。 |
| Q3-30B-A3B-Designant-Q3_K_L.gguf | Q3_K_L | 15.90GB | 否 | 品质较低但可用，适合低RAM环境。 |
| Q3-30B-A3B-Designant-Q3_K_M.gguf | Q3_K_M | 14.71GB | 否 | 低品质。 |
| Q3-30B-A3B-Designant-IQ3_M.gguf | IQ3_M | 13.51GB | 否 | 中低品质，新方法，性能尚可，与Q3_K_M相当。 |
| Q3-30B-A3B-Designant-Q3_K_S.gguf | Q3_K_S | 13.29GB | 否 | 低品质，不推荐。 |
| Q3-30B-A3B-Designant-IQ3_XS.gguf | IQ3_XS | 12.60GB | 否 | 较低品质，新方法，性能尚可，略优于Q3_K_S。 |
| Q3-30B-A3B-Designant-IQ3_XXS.gguf | IQ3_XXS | 11.85GB | 否 | 较低品质，新方法，性能尚可，与Q3量化相当。 |
| Q3-30B-A3B-Designant-Q2_K_L.gguf | Q2_K_L | 11.56GB | 否 | 嵌入和输出权重使用Q8_0。极低品质但出奇地可用。 |
| Q3-30B-A3B-Designant-Q2_K.gguf | Q2_K | 11.26GB | 否 | 极低品质但出奇地可用。 |
| Q3-30B-A3B-Designant-IQ2_M.gguf | IQ2_M | 10.17GB | 否 | 相对低品质，使用SOTA技术使其出奇地可用。 |
| Q3-30B-A3B-Designant-IQ2_S.gguf | IQ2_S | 9.29GB | 否 | 低品质，使用SOTA技术使其可用。 |
| Q3-30B-A3B-Designant-IQ2_XS.gguf | IQ2_XS | 9.08GB | 否 | 低品质，使用SOTA技术使其可用。 |
| Q3-30B-A3B-Designant-IQ2_XXS.gguf | IQ2_XXS | 8.18GB | 否 | 极低品质，使用SOTA技术使其可用。 |
嵌入/输出权重
部分量化（如Q3_K_XL、Q4_K_L等）是标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。
使用huggingface-cli下载
点击查看下载说明
首先，确保已安装huggingface-cli：
pip install -U "huggingface_hub[cli]"
然后，可以指定要下载的具体文件：
huggingface-cli download bartowski/allura-org_Q3-30B-A3B-Designant-GGUF --include "allura-org_Q3-30B-A3B-Designant-Q4_K_M.gguf" --local-dir ./
如果模型大小超过50GB，它会被分割成多个文件。要下载所有文件到本地文件夹，运行：
huggingface-cli download bartowski/allura-org_Q3-30B-A3B-Designant-GGUF --include "allura-org_Q3-30B-A3B-Designant-Q8_0/*" --local-dir ./
可以指定新的本地目录（如allura-org_Q3-30B-A3B-Designant-Q8_0）或直接下载到当前目录（./）。
ARM/AVX信息
以前，你会下载Q4_0_4_4/4_8/8_8，这些文件会在内存中交错权重，以通过单次加载更多数据来提高ARM和AVX机器的性能。
但现在，有一种称为“在线重新打包”的功能。详情见此PR。如果你使用Q4_0且你的硬件能从重新打包中受益，它会自动在运行时完成。
从llama.cpp构建b4282开始，你将无法运行Q4_0_X_X文件，而需要使用Q4_0。
此外，如果你想获得略好的品质，可以使用IQ4_NL，这要归功于此PR，它也会为ARM重新打包权重（目前仅支持4_4）。加载时间可能更长，但会带来整体速度提升。
点击查看Q4_0_X_X信息（已弃用）
保留此部分以展示使用Q4_0在线重新打包的潜在理论性能提升。
点击查看AVX2系统（EPYC7702）上的基准测试
| 模型 | 大小 | 参数 | 后端 | 线程数 | 测试 | t/s | % (vs Q4_0) |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8在提示处理上提供了显著提升，并在文本生成上略有提升。
我应该选择哪个文件？
点击查看详情
Artefact2提供了一个详细的性能图表说明，见此处。
首先，确定你能运行的模型大小。为此，你需要了解你的RAM和/或VRAM容量。
如果你希望模型运行尽可能快，你会希望整个模型能放入GPU的VRAM中。选择一个文件大小比GPU总VRAM小1-2GB的量化版本。
如果你追求绝对最高品质，将系统RAM和GPU的VRAM相加，然后选择一个文件大小比该总和小1-2GB的量化版本。
接下来，你需要决定是否使用“I-quant”或“K-quant”。
如果你不想考虑太多，选择一个K-quant。这些格式为“QX_K_X”，例如Q5_K_M。
如果你想深入了解，可以查看这个非常有用的特性图表：
但基本上，如果你的目标是低于Q4，并且你正在运行cuBLAS（Nvidia）或rocBLAS（AMD），你应该考虑I-quant。这些格式为IQX_X，例如IQ3_M。这些是较新的量化方法，在相同大小下提供更好的性能。
这些I-quant也可以在CPU上使用，但会比对应的K-quant慢，因此你需要在速度和性能之间做出权衡。
致谢
感谢kalomaze和Dampf协助创建imatrix校准数据集。
感谢ZeroWw启发我尝试嵌入/输出实验。
感谢LM Studio赞助我的工作。
想支持我的工作？访问我的ko-fi页面：https://ko-fi.com/bartowski
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型
Transformers
Transformers 支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文