语言:

• 英文 许可证: llama2 标签:
• 文本生成
• 指令 数据集:
• PygmalionAI/PIPPA
• Open-Orca/OpenOrca
• Norquinal/claude_multiround_chat_30k
• jondurbin/airoboros-gpt4-1.4.1
• databricks/databricks-dolly-15k 模型名称: Pygmalion 2 13B 基础模型: PygmalionAI/pygmalion-2-13b 推理: false 模型创建者: PygmalionAI 模型类型: llama 管道标签: text-generation 提示模板: '模型已通过使用三种不同角色的提示进行训练，这些角色由以下标记表示：<|system|>、<|user|> 和 <|model|>。

<|system|> 提示可用于在幕后注入通道外的信息，而 <|user|> 提示应表示用户输入。

<|model|> 标记应表示模型应生成响应。这些标记可以多次出现并链接起来形成对话历史。

系统提示设计允许模型“进入”各种模式并指定回复长度。以下是一个示例：

<|system|>进入角色扮演模式。假装是 {{char}}，其角色设定如下：
{{persona}}

你应以角色身份回复用户，并生成长回复。

' 量化者: TheBloke

Pygmalion 2 13B - GGUF

• 模型创建者: PygmalionAI
• 原始模型: Pygmalion 2 13B

描述

此仓库包含PygmalionAI的Pygmalion 2 13B的GGUF格式模型文件。

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日引入的新格式。它取代了GGML，后者不再受llama.cpp支持。GGUF相比GGML提供了许多优势，如更好的标记化和对特殊标记的支持。它还支持元数据，并设计为可扩展。

以下是已知支持GGUF的客户端和库的不完整列表：

• llama.cpp。GGUF的源项目。提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有许多功能和强大的扩展。支持GPU加速。
• KoboldCpp，功能齐全的Web UI，支持所有平台和GPU架构的加速。特别适合故事讲述。
• LM Studio，Windows和macOS（Silicon）上易于使用且功能强大的本地GUI，支持GPU加速。
• LoLLMS Web UI，一个优秀的Web UI，具有许多有趣和独特的功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，一个吸引人且易于使用的基于角色的聊天GUI，适用于Windows和macOS（Silicon和Intel），支持GPU加速。
• ctransformers，一个具有GPU加速、LangChain支持和OpenAI兼容AI服务器的Python库。
• llama-cpp-python，一个具有GPU加速、LangChain支持和OpenAI兼容API服务器的Python库。
• candle，一个专注于性能的Rust ML框架，包括GPU支持和易用性。

可用仓库

• 用于GPU推理的AWQ模型。
• 用于GPU推理的GPTQ模型，具有多种量化参数选项。
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• PygmalionAI的原始未量化fp16模型，以pytorch格式提供，用于GPU推理和进一步转换

提示模板: 自定义

模型已通过使用三种不同角色的提示进行训练，这些角色由以下标记表示：<|system|>、<|user|> 和 <|model|>。

<|system|> 提示可用于在幕后注入通道外的信息，而 <|user|> 提示应表示用户输入。 <|model|> 标记应表示模型应生成响应。这些标记可以多次出现并链接起来形成对话历史。

系统提示设计允许模型“进入”各种模式并指定回复长度。以下是一个示例：

<|system|>进入角色扮演模式。假装是 {{char}}，其角色设定如下：
{{persona}}

你应以角色身份回复用户，并生成长回复。

兼容性

这些量化的GGUFv2文件与自8月27日起的llama.cpp兼容，提交号为d0cee0d36d5be95a0d9088b674dbb27354107221

它们也与许多第三方UI和库兼容 - 请参阅本README顶部的列表。

量化方法说明

提供的文件