语言:

• 英文 许可证: llama2 库名称: transformers 标签:

• llama

• llama-2 模型名称: Pygmalion 2 13B SuperCOT 加权版 基础模型: royallab/Pygmalion-2-13b-SuperCoT-weighed 推理支持: 否 模型创建者: royallab 模型类型: llama 任务标签: 文本生成 提示模板: | 以下是描述任务的指令。请撰写恰当完成请求的回复。

  指令:

  {prompt}

  回复:

量化支持: TheBloke

Pygmalion 2 13B SuperCOT 加权版 - GGUF格式

• 模型创建者: royallab
• 原始模型: Pygmalion 2 13B SuperCOT 加权版

模型描述

本仓库包含royallab的Pygmalion 2 13B SuperCOT加权版的GGUF格式模型文件。

关于GGUF

GGUF是llama.cpp团队于2023年8月21日引入的新格式，用于替代不再受支持的GGML格式。GGUF相比GGML具有多项优势，如更好的分词处理、特殊令牌支持，还支持元数据且设计为可扩展格式。

以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp - GGUF的源项目，提供CLI和服务器选项
• text-generation-webui - 最广泛使用的Web UI，支持GPU加速
• KoboldCpp - 全功能Web UI，跨平台GPU加速
• LM Studio - 易用的Windows/macOS本地GUI，支持GPU加速
• LoLLMS Web UI - 特色Web UI，内置模型库
• Faraday.dev - 美观易用的角色聊天GUI
• ctransformers - 支持GPU加速的Python库
• llama-cpp-python - 支持GPU加速的Python库
• candle - 注重性能的Rust ML框架

可用仓库

• 用于GPU推理的AWQ模型
• 支持多重量化参数的GPTQ模型
• 2/3/4/5/6/8位GGUF模型
• royallab的原始FP16模型

提示模板: Alpaca格式

以下是描述任务的指令。请撰写恰当完成请求的回复。

### 指令:
{prompt}

### 回复:

兼容性

这些量化GGUFv2文件需要2023年8月27日后的llama.cpp版本。

量化方法说明

提供文件

下载指南

推荐使用huggingface-hub库下载：

pip3 install huggingface-hub>=0.17.1
huggingface-cli download TheBloke/Pygmalion-2-13B-SuperCOT-weighed-GGUF pygmalion-2-13b-supercot-weighed.q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

运行示例

./main -ngl 32 -m pygmalion-2-13b-supercot-weighed.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "以下是描述任务的指令。请撰写恰当完成请求的回复。\n\n### 指令:\n{prompt}\n\n### 回复:"

原始模型说明: Pygmalion-2-13b-SuperCOT-weighted

这是Pygmalion-2-13b与SuperCOT的加权融合实验模型。

使用方式

支持以下指令格式：

• Metharme格式
• Alpaca格式

局限性

该模型可能表现出与基础模型类似的偏见，且为实验性融合，效果可能因人而异。