🚀 King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF

本模型是通过llama.cpp，借助ggml.ai的GGUF-my-repo空间，从PocketDoc/Dans-PersonalityEngine-V1.3.0-24b转换为GGUF格式的。如需了解该模型的更多详细信息，请参考原始模型卡片。

🚀 快速开始

模型信息

多语言支持

本模型支持以下语言：

• 阿拉伯语
• 中文
• 英语
• 法语
• 德语
• 印地语
• 日语
• 韩语
• 葡萄牙语
• 西班牙语

关键细节

• 基础模型：mistralai/Mistral-Small-3.1-24B-Base-2503
• 许可证：apache-2.0
• 支持语言：支持10种语言的多语言模型
• 上下文长度：32768个标记，131072个标记时召回率会下降

推荐设置

• 温度（TEMPERATURE）：1.0
• 核采样概率（TOP_P）：0.9

提示格式

本模型使用名为“DanChat - 2”的格式。

📦 安装指南

通过brew（适用于Mac和Linux）安装llama.cpp：

brew install llama.cpp

💻 使用示例

使用llama.cpp的CLI

llama-cli --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -p "The meaning to life and the universe is"

使用llama.cpp的服务器

llama-server --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -c 2048

直接使用Llama.cpp仓库中的步骤

步骤1：从GitHub克隆llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步骤2：进入llama.cpp文件夹并使用LLAMA_CURL = 1标志以及其他特定硬件标志（例如，在Linux上使用Nvidia GPU时使用LLAMA_CUDA = 1）进行构建

cd llama.cpp && LLAMA_CURL=1 make

步骤3：通过主二进制文件运行推理

./llama-cli --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo King-Cane/Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M-GGUF --hf-file dans-personalityengine-v1.3.0-24b-q4_k_m.gguf -c 2048

⚠️ 重要提示

你也可以直接通过Llama.cpp仓库中列出的使用步骤使用此检查点。