一个多语言、多用途的大型语言模型，支持多种专业领域和通用任务，适用于角色扮演、故事创作、编程等多种场景。
下载量 2,543
发布时间 : 5/23/2025
模型介绍
内容详情
替代品
模型简介
Dans-PersonalityEngine是一个24B参数的大型语言模型，支持多种语言和专业领域，包括编程、法律、医学、金融等。模型经过量化处理，可在多种硬件上高效运行。
模型特点
多语言支持
支持9种语言，包括英语、阿拉伯语、德语、法语、西班牙语、印地语、葡萄牙语、日语和韩语。
多领域适用
涵盖通用用途、角色扮演、故事创作、化学、生物学、编程、气候、法律、医学、金融等多个领域。
高效量化
提供多种量化版本，从BF16到极低比特量化，适应不同硬件需求，优化运行效率。
广泛数据集
基于多个高质量数据集训练，包括PocketDoc和AquaV系列数据集，覆盖多种应用场景。
模型能力
文本生成
角色扮演
故事创作
编程辅助
法律咨询
医学问答
金融分析
多语言翻译
使用案例
创意写作
故事创作
生成连贯、富有创意的故事内容
高质量的故事文本，适合小说、剧本等创作
角色扮演
模拟不同角色的对话和行为
生动的角色互动体验
专业领域
编程辅助
生成代码片段或解决编程问题
准确的代码示例和解决方案
法律咨询
提供法律相关的信息和建议
专业的法律知识回答
教育
数学问题解答
解决数学问题和提供解题步骤
清晰的数学问题解答过程
科学知识问答
回答化学、生物学等科学领域的问题
准确的专业知识回答
量化者：bartowski
流水线标签：文本生成
支持语言：
- 英语
- 阿拉伯语
- 德语
- 法语
- 西班牙语
- 印地语
- 葡萄牙语
- 日语
- 韩语
标签：
- 通用用途
- 角色扮演
- 故事创作
- 化学
- 生物学
- 编程
- 气候
- 美西螈
- 文本生成推理
- 微调
- 法律
- 医学
- 金融
数据集：
- PocketDoc/Dans-Prosemaxx-RP
- PocketDoc/Dans-Personamaxx-Logs-2
- PocketDoc/Dans-Personamaxx-VN
- PocketDoc/Dans-Kinomaxx-VanillaBackrooms
- PocketDoc/Dans-Prosemaxx-Gutenberg
- PocketDoc/Dans-Prosemaxx-Cowriter-3-XL
- PocketDoc/Dans-Prosemaxx-Adventure
- PocketDoc/Dans-Failuremaxx-Adventure-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-2
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-Continue-2
- PocketDoc/Dans-Prosemaxx-Instructwriter-Long
- PocketDoc/Dans-Prosemaxx-RepRemover-1
- PocketDoc/Dans-MemoryCore-CoreCurriculum-Small
- AquaV/US-Army-Survival-Sharegpt
- AquaV/Multi-Environment-Operations-Sharegpt
- AquaV/Resistance-Sharegpt
- AquaV/Interrogation-Sharegpt
- AquaV/Chemical-Biological-Safety-Applications-Sharegpt
- AquaV/Energetic-Materials-Sharegpt
- PocketDoc/Dans-Mathmaxx
- PJMixers/Math-Multiturn-1K-ShareGPT
- PocketDoc/Dans-Taskmaxx
- PocketDoc/Dans-Taskmaxx-DataPrepper
- PocketDoc/Dans-Taskmaxx-ConcurrentQA-Reworked
- PocketDoc/Dans-Taskmaxx-TableGPT
- PocketDoc/Dans-Taskmaxx-SciRIFF
- PocketDoc/Dans-Taskmaxx-Edit
- PocketDoc/Dans-Toolmaxx-Agent
- PocketDoc/Dans-Toolmaxx-ShellCommands
- PocketDoc/Dans-Toolmaxx-Functions-Toolbench
- PocketDoc/Dans-Toolmaxx-Functions-ToolACE
- PocketDoc/Dans-Toolmaxx-Functions-apigen-subset
- PocketDoc/Dans-Assistantmaxx-OpenAssistant2
- PocketDoc/Dans-Assistantmaxx-Opus-Merge-2
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset-2
- PocketDoc/Dans-Assistantmaxx-Synthia
- PocketDoc/Dans-Assistantmaxx-ASL
- PocketDoc/Dans-Assistantmaxx-PersonaLLM-Opus
- PocketDoc/Dans-Assistantmaxx-LongAlign
- PocketDoc/Dans-Assistantmaxx-OpenLeecher-Instruct
- PocketDoc/Dans-Assistantmaxx-Tulu3-IF
- PocketDoc/Dans-Systemmaxx
- PocketDoc/Dans-Logicmaxx-SAT-AP
- PJMixers/grimulkan_theory-of-mind-ShareGPT
- PJMixers/grimulkan_physical-reasoning-ShareGPT
- PocketDoc/Dans-Reasoningmaxx-NaturalReasoning
- PocketDoc/Dans-Reasoningmaxx-WebInstruct
- PocketDoc/Dans-Reasoningmaxx-GeneralReasoning
- PocketDoc/Dans-Assistantmaxx-ClosedInstruct
基础模型：PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
缩略图：https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b/resolve/main/resources/pe.png
基础模型关系：量化
许可证：apache-2.0
PocketDoc的Dans-PersonalityEngine-V1.3.0-24b的Llamacpp imatrix量化
原始模型：https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
所有量化均使用imatrix选项，数据集来自此处。
在LM Studio中运行它们。
直接使用llama.cpp或任何基于llama.cpp的项目运行。
提示格式
[gMASK]<sop><|system|>{系统提示}<|endoftext|><|user|>{提示}<|endoftext|><|assistant|>
从下方下载文件（非整个分支）：
嵌入/输出权重
部分量化（如Q3_K_XL、Q4_K_L等）为标准量化方法，但嵌入和输出权重量化为Q8_0而非默认值。
使用huggingface-cli下载
点击查看下载说明
首先，确保已安装huggingface-cli：
pip install -U "huggingface_hub[cli]"
然后，可以指定要下载的文件：
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M.gguf" --local-dir ./
如果模型大于50GB，则会被分割为多个文件。要下载所有文件到本地文件夹，运行：
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q8_0/*" --local-dir ./
可以指定新的本地目录（PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q8_0）或直接下载到当前目录（./）。
ARM/AVX信息
以前，您会下载Q4_0_4_4/4_8/8_8，这些文件会在内存中交错权重，以提高ARM和AVX机器的性能，通过一次加载更多数据。
但现在，有一种称为“在线重打包”的功能，详情见此PR。如果使用Q4_0且硬件受益于权重重打包，它将自动在运行时完成。
从llama.cpp构建版本b4282开始，您将无法运行Q4_0_X_X文件，而需要使用Q4_0。
此外，如果您想获得稍好的品质，可以使用IQ4_NL，感谢此PR，它也会为ARM重打包权重，但目前仅支持4_4。加载时间可能较慢，但会带来整体速度提升。
点击查看Q4_0_X_X信息（已弃用）
保留此部分以展示使用Q4_0在线重打包的潜在理论性能提升。
点击查看AVX2系统（EPYC7702）上的基准测试
| 模型 | 大小 | 参数 | 后端 | 线程数 | 测试 | t/s | %（对比Q4_0） |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8在提示处理上有显著提升，文本生成也有小幅提升。
应选择哪个文件？
点击查看详情
Artefact2提供了详细的性能图表，见此处。
首先，确定您可以运行的模型大小。为此，需要了解您的RAM和/或VRAM容量。
如果您希望模型运行尽可能快，需要将整个模型放入GPU的VRAM中。选择一个文件大小比GPU总VRAM小1-2GB的量化版本。
如果您追求绝对最高品质，将系统RAM和GPU的VRAM相加，然后选择一个文件大小比总和小1-2GB的量化版本。
接下来，决定使用“I-quant”还是“K-quant”。
如果不想过多思考，选择一个K-quant。格式为“QX_K_X”，如Q5_K_M。
如果想深入了解，可以查看这个非常有用的特性图表：
基本上，如果目标是低于Q4，并且运行cuBLAS（Nvidia）或rocBLAS（AMD），应考虑I-quant。格式为IQX_X，如IQ3_M。这些是较新的方法，在相同大小下提供更好的性能。
这些I-quant也可在CPU上使用，但速度会比对应的K-quant慢，因此需要在速度与性能之间权衡。
致谢
感谢kalomaze和Dampf协助创建imatrix校准数据集。
感谢ZeroWw激发了对嵌入/输出实验的灵感。
感谢LM Studio赞助我的工作。
想支持我的工作？访问我的ko-fi页面：https://ko-fi.com/bartowski
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型
Transformers
Transformers 支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文