语言:

• 英文 许可证: llama2 标签:

• facebook

• meta

• pytorch

• llama

• llama-2 模型名称: Llama 2 13B Chat 基础模型: meta-llama/Llama-2-13b-chat-hf 推理: false 模型创建者: Meta Llama 2 模型类型: llama 流水线标签: 文本生成 提示模板: '[INST] <>

  你是一个乐于助人、尊重他人且诚实的助手。始终尽可能提供有帮助的回答，同时确保安全。你的回答不应包含任何有害、不道德、种族主义、性别歧视、有毒、危险或非法内容。请确保你的回应在社会上是公正且积极的。如果问题没有意义，或事实不连贯，请解释原因而不是回答不正确的内容。如果你不知道问题的答案，请不要分享虚假信息。

  <>

  {prompt}[/INST]

  ' 量化者: TheBloke

Llama 2 13B Chat - GPTQ

• 模型创建者: Meta Llama 2
• 原始模型: Llama 2 13B Chat

描述

此仓库包含Meta的Llama 2 13B-chat的GPTQ模型文件。

提供了多种GPTQ参数组合；详见下方“提供的文件”部分，了解提供的选项、参数及用于创建它们的软件。

可用仓库

• 用于GPU推理的AWQ模型
• 用于GPU推理的GPTQ模型，提供多种量化参数选项
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• Meta Llama 2的原始未量化fp16模型，以pytorch格式提供，用于GPU推理和进一步转换

提示模板: Llama-2-Chat

[INST] <<SYS>>
你是一个乐于助人、尊重他人且诚实的助手。始终尽可能提供有帮助的回答，同时确保安全。你的回答不应包含任何有害、不道德、种族主义、性别歧视、有毒、危险或非法内容。请确保你的回应在社会上是公正且积极的。如果问题没有意义，或事实不连贯，请解释原因而不是回答不正确的内容。如果你不知道问题的答案，请不要分享虚假信息。
<</SYS>>
{prompt}[/INST]

提供的文件和GPTQ参数

提供了多种量化参数，以便您根据硬件和需求选择最佳选项。

每个独立的量化位于不同的分支中。请参阅下方从不同分支获取的说明。

所有最近的GPTQ文件均使用AutoGPTQ创建，非主分支中的所有文件也使用AutoGPTQ创建。主分支中2023年8月之前上传的文件使用GPTQ-for-LLaMa创建。

如何从分支下载

• 在text-generation-webui中，您可以在下载名称末尾添加:branch，例如TheBloke/Llama-2-13B-chat-GPTQ:main
• 使用Git，您可以克隆一个分支：

git clone --single-branch --branch main https://huggingface.co/TheBloke/Llama-2-13B-chat-GPTQ

• 在Python Transformers代码中，分支是revision参数；见下文。

如何在text-generation-webui中轻松下载和使用此模型。

请确保您使用的是最新版本的text-generation-webui。

强烈建议使用text-generation-webui的一键安装程序，除非您确定知道如何进行手动安装。

1. 点击模型标签。
2. 在下载自定义模型或LoRA下，输入TheBloke/Llama-2-13B-chat-GPTQ。

• 要从特定分支下载，请输入例如TheBloke/Llama-2-13B-chat-GPTQ:main
• 有关每个选项的分支列表，请参阅上方的“提供的文件”部分。

3. 点击下载。
4. 模型将开始下载。完成后会显示“完成”。
5. 在左上角，点击刷新图标旁边的模型。
6. 在模型下拉菜单中，选择您刚刚下载的模型：Llama-2-13B-chat-GPTQ
7. 模型将自动加载，现在可以使用了！
8. 如果您想要任何自定义设置，设置后点击保存此模型的设置，然后点击右上角的重新加载模型。

• 注意：