一个基于llama.cpp量化的12B参数多语言大语言模型，支持角色扮演、故事创作及多领域专业任务
下载量 1,027
发布时间 : 5/24/2025
模型介绍
内容详情
替代品
模型简介
该模型是PocketDoc开发的12B参数大语言模型，经过llama.cpp量化优化，支持多种语言和专业领域任务，特别擅长角色扮演和创造性文本生成。
模型特点
多语言支持
支持9种语言的文本生成和理解
多领域适应
覆盖化学、生物学、编程、法律、医学、金融等多个专业领域
高效量化
提供从Q2到Q8多种量化级别，适应不同硬件环境
角色扮演优化
特别针对角色扮演场景进行了优化训练
模型能力
多语言文本生成
角色扮演对话
故事创作
专业领域问答
代码生成
法律文档处理
医学信息分析
使用案例
创意写作
故事创作
生成连贯的长篇故事或小说章节
可生成具有情节连贯性的创意文本
角色扮演
模拟不同角色的对话和互动
能保持角色性格一致的对话体验
专业辅助
法律文档处理
辅助法律文书起草和分析
能生成符合法律规范的专业文本
医学信息查询
回答医学相关问题
提供基于医学知识的专业回答
量化者: bartowski
任务标签: 文本生成
支持语言:
- 英语
- 阿拉伯语
- 德语
- 法语
- 西班牙语
- 印地语
- 葡萄牙语
- 日语
- 韩语
标签:
- 通用型
- 角色扮演
- 故事创作
- 化学
- 生物学
- 编程
- 气候
- 美西螈
- 文本生成推理
- 微调
- 法律
- 医学
- 金融
数据集:
- PocketDoc/Dans-Prosemaxx-RP
- PocketDoc/Dans-Personamaxx-Logs-2
- PocketDoc/Dans-Personamaxx-VN
- PocketDoc/Dans-Kinomaxx-VanillaBackrooms
- PocketDoc/Dans-Prosemaxx-Gutenberg
- PocketDoc/Dans-Prosemaxx-Cowriter-3-XL
- PocketDoc/Dans-Prosemaxx-Adventure
- PocketDoc/Dans-Failuremaxx-Adventure-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-2
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-Continue-2
- PocketDoc/Dans-Prosemaxx-Instructwriter-Long
- PocketDoc/Dans-Prosemaxx-RepRemover-1
- PocketDoc/Dans-MemoryCore-CoreCurriculum-Small
- AquaV/US-Army-Survival-Sharegpt
- AquaV/Multi-Environment-Operations-Sharegpt
- AquaV/Resistance-Sharegpt
- AquaV/Interrogation-Sharegpt
- AquaV/Chemical-Biological-Safety-Applications-Sharegpt
- AquaV/Energetic-Materials-Sharegpt
- PocketDoc/Dans-Mathmaxx
- PJMixers/Math-Multiturn-1K-ShareGPT
- PocketDoc/Dans-Taskmaxx
- PocketDoc/Dans-Taskmaxx-DataPrepper
- PocketDoc/Dans-Taskmaxx-ConcurrentQA-Reworked
- PocketDoc/Dans-Taskmaxx-TableGPT
- PocketDoc/Dans-Taskmaxx-SciRIFF
- PocketDoc/Dans-Taskmaxx-Edit
- PocketDoc/Dans-Toolmaxx-Agent
- PocketDoc/Dans-Toolmaxx-ShellCommands
- PocketDoc/Dans-Toolmaxx-Functions-Toolbench
- PocketDoc/Dans-Toolmaxx-Functions-ToolACE
- PocketDoc/Dans-Toolmaxx-Functions-apigen-subset
- PocketDoc/Dans-Assistantmaxx-OpenAssistant2
- PocketDoc/Dans-Assistantmaxx-Opus-Merge-2
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset-2
- PocketDoc/Dans-Assistantmaxx-Synthia
- PocketDoc/Dans-Assistantmaxx-ASL
- PocketDoc/Dans-Assistantmaxx-PersonaLLM-Opus
- PocketDoc/Dans-Assistantmaxx-LongAlign
- PocketDoc/Dans-Assistantmaxx-OpenLeecher-Instruct
- PocketDoc/Dans-Assistantmaxx-Tulu3-IF
- PocketDoc/Dans-Systemmaxx
- PocketDoc/Dans-Logicmaxx-SAT-AP
- PJMixers/grimulkan_theory-of-mind-ShareGPT
- PJMixers/grimulkan_physical-reasoning-ShareGPT
- PocketDoc/Dans-Reasoningmaxx-NaturalReasoning
- PocketDoc/Dans-Reasoningmaxx-WebInstruct
- PocketDoc/Dans-Reasoningmaxx-GeneralReasoning
- PocketDoc/Dans-Assistantmaxx-ClosedInstruct
基础模型: PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
缩略图: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b/resolve/main/resources/pe.png
基础模型关系: 量化
许可证: apache-2.0
PocketDoc的Dans-PersonalityEngine-V1.3.0-12b的Llamacpp imatrix量化版本
原始模型: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
所有量化均使用imatrix选项，数据集来自此处
可在LM Studio中运行
也可直接在llama.cpp或任何基于llama.cpp的项目中运行
提示格式
[gMASK]<sop><|system|>{系统提示}<|endoftext|><|user|>{提示}<|endoftext|><|assistant|>
从下方下载文件（非整个分支）:
嵌入/输出权重
部分量化（如Q3_K_XL、Q4_K_L等）为标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。
使用huggingface-cli下载
点击查看下载说明
首先，确保已安装huggingface-cli：
pip install -U "huggingface_hub[cli]"
然后，可以指定目标文件：
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-Q4_K_M.gguf" --local-dir ./
如果模型超过50GB，将被分割为多个文件。要下载所有文件到本地文件夹，运行：
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-Q8_0/*" --local-dir ./
可以指定新的local-dir（如PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-Q8_0）或直接下载到当前目录（./）。
ARM/AVX信息
以前，您会下载Q4_0_4_4/4_8/8_8，这些文件的权重在内存中交错排列，以提高ARM和AVX机器的性能，通过一次加载更多数据。
但现在，有一种称为“在线重打包”的技术，详情见此PR。如果使用Q4_0且硬件受益于权重重打包，它将自动在运行时完成。
从llama.cpp构建b4282开始，您将无法运行Q4_0_X_X文件，而需要使用Q4_0。
此外，如果您想获得稍好的品质，可以使用IQ4_NL，这得益于此PR，它也会为ARM重打包权重，但目前仅支持4_4。加载时间可能更长，但会带来整体速度提升。
点击查看Q4_0_X_X信息（已弃用）
保留此部分以展示使用Q4_0在线重打包的潜在理论性能提升。
点击查看AVX2系统（EPYC7702）的基准测试
| 模型 | 大小 | 参数 | 后端 | 线程 | 测试 | t/s | % (vs Q4_0) |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8在提示处理上有显著提升，文本生成也有小幅提升。
应选择哪个文件？
点击查看详情
Artefact2提供了详细的性能图表此处。
首先需要确定能运行多大的模型。为此，需了解您的RAM和/或VRAM容量。
若希望模型运行尽可能快，需将整个模型放入GPU的VRAM中。选择一个文件大小比GPU总VRAM小1-2GB的量化版本。
若追求绝对最高品质，将系统RAM和GPU的VRAM相加，然后选择一个文件大小比该总和小1-2GB的量化版本。
接下来，需决定使用“I-quant”还是“K-quant”。
若不想过多思考，选择K-quant。格式为“QX_K_X”，如Q5_K_M。
若想深入了解，可查看此非常有用的特性图表：
简而言之，若目标低于Q4且运行cuBLAS（Nvidia）或rocBLAS（AMD），应考虑I-quant。格式为IQX_X，如IQ3_M。这些是较新的量化方法，在相同大小下性能更优。
I-quant也可用于CPU，但速度会慢于对应的K-quant，因此需在速度与性能之间权衡。
致谢
感谢kalomaze和Dampf协助创建imatrix校准数据集。
感谢ZeroWw激发了对嵌入/输出实验的灵感。
感谢LM Studio赞助我的工作。
想支持我的工作？访问我的ko-fi页面：https://ko-fi.com/bartowski
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型
Transformers
Transformers 支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文