缩略图: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b/resolve/main/resources/pe.png 许可证: apache-2.0 标签:

• 通用目的
• 角色扮演
• 故事创作
• 化学
• 生物学
• 编程
• 气候
• 美西螈
• 文本生成推理
• 微调
• 法律
• 医学
• 金融
• llama-cpp
• gguf-my-repo 数据集:
• PocketDoc/Dans-Prosemaxx-RP
• PocketDoc/Dans-Personamaxx-Logs-2
• PocketDoc/Dans-Personamaxx-VN
• PocketDoc/Dans-Kinomaxx-VanillaBackrooms
• PocketDoc/Dans-Prosemaxx-Gutenberg
• PocketDoc/Dans-Prosemaxx-Cowriter-3-XL
• PocketDoc/Dans-Prosemaxx-Adventure
• PocketDoc/Dans-Failuremaxx-Adventure-3
• PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-2
• PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-3
• PocketDoc/Dans-Prosemaxx-InstructWriter-Continue-2
• PocketDoc/Dans-Prosemaxx-Instructwriter-Long
• PocketDoc/Dans-Prosemaxx-RepRemover-1
• PocketDoc/Dans-MemoryCore-CoreCurriculum-Small
• AquaV/US-Army-Survival-Sharegpt
• AquaV/Multi-Environment-Operations-Sharegpt
• AquaV/Resistance-Sharegpt
• AquaV/Interrogation-Sharegpt
• AquaV/Chemical-Biological-Safety-Applications-Sharegpt
• AquaV/Energetic-Materials-Sharegpt
• PocketDoc/Dans-Mathmaxx
• PJMixers/Math-Multiturn-1K-ShareGPT
• PocketDoc/Dans-Taskmaxx
• PocketDoc/Dans-Taskmaxx-DataPrepper
• PocketDoc/Dans-Taskmaxx-ConcurrentQA-Reworked
• PocketDoc/Dans-Taskmaxx-TableGPT
• PocketDoc/Dans-Taskmaxx-SciRIFF
• PocketDoc/Dans-Taskmaxx-Edit
• PocketDoc/Dans-Toolmaxx-Agent
• PocketDoc/Dans-Toolmaxx-ShellCommands
• PocketDoc/Dans-Toolmaxx-Functions-Toolbench
• PocketDoc/Dans-Toolmaxx-Functions-ToolACE
• PocketDoc/Dans-Toolmaxx-Functions-apigen-subset
• PocketDoc/Dans-Assistantmaxx-OpenAssistant2
• PocketDoc/Dans-Assistantmaxx-Opus-Merge-2
• PocketDoc/Dans-Assistantmaxx-sonnetorca-subset
• PocketDoc/Dans-Assistantmaxx-sonnetorca-subset-2
• PocketDoc/Dans-Assistantmaxx-Synthia
• PocketDoc/Dans-Assistantmaxx-ASL
• PocketDoc/Dans-Assistantmaxx-PersonaLLM-Opus
• PocketDoc/Dans-Assistantmaxx-LongAlign
• PocketDoc/Dans-Assistantmaxx-OpenLeecher-Instruct
• PocketDoc/Dans-Assistantmaxx-Tulu3-IF
• PocketDoc/Dans-Systemmaxx
• PocketDoc/Dans-Logicmaxx-SAT-AP
• PJMixers/grimulkan_theory-of-mind-ShareGPT
• PJMixers/grimulkan_physical-reasoning-ShareGPT
• PocketDoc/Dans-Reasoningmaxx-NaturalReasoning
• PocketDoc/Dans-Reasoningmaxx-WebInstruct
• PocketDoc/Dans-Reasoningmaxx-GeneralReasoning
• PocketDoc/Dans-Assistantmaxx-ClosedInstruct 语言:
• 英语
• 阿拉伯语
• 德语
• 法语
• 西班牙语
• 印地语
• 葡萄牙语
• 日语
• 韩语 基础模型: PocketDoc/Dans-PersonalityEngine-V1.3.0-12b 管道标签: 文本生成 库名称: transformers

NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF

该模型是从PocketDoc/Dans-PersonalityEngine-V1.3.0-12b通过llama.cpp使用ggml.ai的GGUF-my-repo空间转换为GGUF格式的。有关模型的更多详情，请参阅原始模型卡片。

使用llama.cpp

通过brew安装llama.cpp（适用于Mac和Linux）

brew install llama.cpp

调用llama.cpp服务器或CLI。

CLI:

llama-cli --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -p "生命和宇宙的意义是"

服务器:

llama-server --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -c 2048

注意：您也可以直接通过Llama.cpp仓库中列出的使用步骤使用此检查点。

步骤1：从GitHub克隆llama.cpp。

git clone https://github.com/ggerganov/llama.cpp

步骤2：进入llama.cpp文件夹并使用LLAMA_CURL=1标志以及其他硬件特定标志（例如：Linux上Nvidia GPU的LLAMA_CUDA=1）构建。

cd llama.cpp && LLAMA_CURL=1 make

步骤3：通过主二进制文件运行推理。

./llama-cli --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -p "生命和宇宙的意义是"

或

./llama-server --hf-repo NikolayKozloff/Dans-PersonalityEngine-V1.3.0-12b-Q6_K-GGUF --hf-file dans-personalityengine-v1.3.0-12b-q6_k.gguf -c 2048