language:

• en license: llama2 tags:
• 文本生成
• 指令 datasets:
• PygmalionAI/PIPPA
• Open-Orca/OpenOrca
• Norquinal/claude_multiround_chat_30k
• jondurbin/airoboros-gpt4-1.4.1
• databricks/databricks-dolly-15k model_name: Pygmalion 2 7B base_model: PygmalionAI/pygmalion-2-7b inference: false model_creator: PygmalionAI model_type: llama pipeline_tag: text-generation prompt_template: '该模型已通过使用三种不同角色的提示进行训练，分别由以下标记表示：<|system|>、<|user|> 和 <|model|>。

<|system|> 提示可用于在幕后注入通道外的信息，而 <|user|> 提示应用于指示用户输入。

然后应使用 <|model|> 标记指示模型生成响应。这些标记可以多次出现并链接起来形成对话历史。

系统提示设计允许模型“进入”各种模式并指定回复长度。以下是一个示例：

<|system|>进入角色扮演模式。假装是 {{char}}，其角色设定如下：
{{persona}}

你应以角色身份回复用户，并生成长响应。

' quantized_by: TheBloke

Pygmalion 2 7B - GGUF

• 模型创建者：PygmalionAI
• 原始模型：Pygmalion 2 7B

描述

此仓库包含PygmalionAI的Pygmalion 2 7B的GGUF格式模型文件。

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日引入的新格式。它是GGML的替代品，llama.cpp不再支持GGML。GGUF相比GGML具有许多优势，例如更好的分词和对特殊标记的支持。它还支持元数据，并设计为可扩展的。

以下是已知支持GGUF的客户端和库的不完整列表：

• llama.cpp。GGUF的源项目。提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有许多功能和强大的扩展。支持GPU加速。
• KoboldCpp，功能齐全的Web UI，支持跨所有平台和GPU架构的GPU加速。特别适合故事讲述。
• LM Studio，Windows和macOS（Silicon）上易于使用且功能强大的本地GUI，支持GPU加速。
• LoLLMS Web UI，一个优秀的Web UI，具有许多有趣且独特的功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，一个吸引人且易于使用的基于角色的聊天GUI，适用于Windows和macOS（Silicon和Intel），支持GPU加速。
• ctransformers，一个具有GPU加速、LangChain支持和OpenAI兼容AI服务器的Python库。
• llama-cpp-python，一个具有GPU加速、LangChain支持和OpenAI兼容API服务器的Python库。
• candle，一个专注于性能的Rust ML框架，包括GPU支持和易用性。

可用仓库

• 用于GPU推理的AWQ模型。
• 用于GPU推理的GPTQ模型，具有多种量化参数选项。
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• PygmalionAI的原始未量化fp16模型，以pytorch格式提供，用于GPU推理和进一步转换

提示模板：自定义

该模型已通过使用三种不同角色的提示进行训练，分别由以下标记表示：<|system|>、<|user|> 和 <|model|>。

<|system|> 提示可用于在幕后注入通道外的信息，而 <|user|> 提示应用于指示用户输入。 然后应使用 <|model|> 标记指示模型生成响应。这些标记可以多次出现并链接起来形成对话历史。

系统提示设计允许模型“进入”各种模式并指定回复长度。以下是一个示例：

<|system|>进入角色扮演模式。假装是 {{char}}，其角色设定如下：
{{persona}}

你应以角色身份回复用户，并生成长响应。

兼容性

这些量化的GGUFv2文件与2023年8月27日之后的llama.cpp兼容，提交号为d0cee0d36d5be95a0d9088b674dbb27354107221

它们也与许多第三方UI和库兼容 - 请参阅本README顶部的列表。

量化方法说明

提供的文件