base_model: openchat/openchat_3.5 inference: false license: apache-2.0 model_creator: OpenChat model_name: OpenChat 3.5 7B model_type: mistral prompt_template: 'GPT4用户: {prompt}<|end_of_turn|>GPT4助手:

' quantized_by: TheBloke

OpenChat 3.5 7B - GPTQ量化版

• 模型创建者: OpenChat
• 原始模型: OpenChat 3.5 7B

模型描述

本仓库包含OpenChat的OpenChat 3.5 7B的GPTQ量化模型文件。

提供了多种GPTQ量化参数组合；详情请参阅下方"提供的文件"部分，了解各选项的参数及创建所用的软件。

这些量化文件由Massed Compute提供的硬件支持完成。

可用仓库

• 用于GPU推理的AWQ模型
• 用于GPU推理的GPTQ模型，提供多种量化参数选项
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• OpenChat原始未量化的fp16 PyTorch格式模型，适用于GPU推理及进一步转换

提示词模板：OpenChat

GPT4用户: {prompt}<|end_of_turn|>GPT4助手:

已知兼容的客户端/服务器

以下推理服务器/WebUI已知支持这些GPTQ模型：

• text-generation-webui
• KoboldAI United
• LoLLMS Web UI
• Hugging Face文本生成推理(TGI)

如果还有其他兼容项，请告知我们！

提供的文件及GPTQ参数

提供多种量化参数组合，以便根据硬件和需求选择最佳方案。

各量化版本位于不同分支。从不同分支获取的说明见下文。

多数GPTQ文件使用AutoGPTQ创建。Mistral模型当前使用Transformers创建。

下载方式（包括从分支下载）

在text-generation-webui中

要从main分支下载，在"Download model"框中输入TheBloke/openchat_3.5-GPTQ。

要从其他分支下载，在下载名称后添加:branchname，例如TheBloke/openchat_3.5-GPTQ:gptq-4bit-32g-actorder_True

通过命令行

推荐使用huggingface-hub Python库：

pip3 install huggingface-hub

将main分支下载到openchat_3.5-GPTQ文件夹：

mkdir openchat_3.5-GPTQ
huggingface-cli download TheBloke/openchat_3.5-GPTQ --local-dir openchat_3.5-GPTQ --local-dir-use-symlinks False

要从不同分支下载，添加--revision参数：

mkdir openchat_3.5-GPTQ
huggingface-cli download TheBloke/openchat_3.5-GPTQ --revision gptq-4bit-32g-actorder_True --local-dir openchat_3.5-GPTQ --local-dir-use-symlinks False

pip3 install hf_transfer

mkdir openchat_3.5-GPTQ
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/openchat_3.5-GPTQ --local-dir openchat_3.5-GPTQ --local-dir-use-symlinks False

使用git（不推荐）

要克隆特定分支，使用类似命令：

git clone --single-branch --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/openchat_3.5-GPTQ

注意：强烈不建议使用Git与HF仓库交互。相比huggingface-hub会更慢，且占用双倍磁盘空间（文件既存储在目标文件夹，又在.git文件夹中以blob形式存储）。

如何在text-generation-webui中轻松下载使用此模型

请确保使用最新版text-generation-webui。

强烈建议使用text-generation-webui的一键安装器，除非你确定能完成手动安装。

1. 点击Model tab。

2. 在Download custom model or LoRA处，输入TheBloke/openchat_3.5-GPTQ。

   • 要从特定分支下载，例如TheBloke/openchat_3.5-GPTQ:gptq-4bit-32g-actorder_True
   • 各选项分支列表见上方"提供的文件"部分。

3. 点击Download。

4. 模型开始下载，完成后显示"Done"。

5. 左上角点击刷新图标旁的Model。

6. 在Model下拉菜单中，选择刚下载的模型：openchat_3.5-GPTQ

7. 模型将自动加载，准备就绪。

8. 如需自定义设置，设置后点击Save settings for this model，然后右上角点击Reload the Model。

   • 注意：无需也不应再手动设置GPTQ参数，这些参数已从quantize_config.json自动配置。

9. 准备就绪后，点击Text Generation标签页输入提示词开始使用！

通过Text Generation Inference(TGI)服务此模型

推荐使用TGI 1.1.0或更高版本。官方Docker镜像为：ghcr.io/huggingface/text-generation-inference:1.1.0

示例Docker参数：

--model-id TheBloke/openchat_3.5-GPTQ --port 3000 --quantize gptq --max-input-length 3696 --max-total-tokens 4096 --max-batch-prefill-tokens 4096

与TGI交互的Python示例代码（需huggingface-hub 0.17.0或更高版本）：

pip3 install huggingface-hub

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "告诉我关于AI的知识"
prompt_template=f'''GPT4用户: {prompt}<|end_of_turn|>GPT4助手:
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  temperature=0.7,
                                  top_p=0.95,
                                  top_k=40,
                                  repetition_penalty=1.1)

print(f"模型输出: {response}")

如何从Python代码使用此GPTQ模型

安装必要包

需要：Transformers 4.33.0或更高，Optimum 1.12.0或更高，以及AutoGPTQ 0.4.2或更高。

pip3 install transformers optimum
pip3 install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # 如使用CUDA 11.7则用cu117

如预构建wheel安装AutoGPTQ有问题，可从源码安装：

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.4.2
pip3 install .

使用示例代码

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/openchat_3.5-GPTQ"
# 如需使用不同分支，修改revision
# 例如：revision="gptq-4bit-32g-actorder_True"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "告诉我关于AI的知识"
prompt_template=f'''GPT4用户: {prompt}<|end_of_turn|>GPT4助手:
'''

print("\n\n*** 生成:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# 也可使用transformers的pipeline

print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    repetition_penalty=1.1
)

print(pipe(prompt_template)[0]['generated_text'])

Phi 2 GGUF

其他

Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。

大型语言模型

支持多种语言

P

TheBloke

41.5M

205

Roberta Large

MIT

基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法

大型语言模型

英语

R

FacebookAI

19.4M

212

Distilbert Base Uncased

Apache-2.0

DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。

大型语言模型

英语

D

distilbert

11.1M

669

Llama 3.1 8B Instruct GGUF

Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。

大型语言模型

英语

L

modularai

9.7M

4

Xlm Roberta Base

MIT

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

大型语言模型

支持多种语言

X

FacebookAI

9.6M

664

Roberta Base

MIT

基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调

大型语言模型

英语

R

FacebookAI

9.3M

488

Opt 125m

其他

OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。

大型语言模型

英语

O

facebook

6.3M

198

Llama 3.1 8B Instruct

Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。

大型语言模型

Transformers

支持多种语言

L

meta-llama

5.7M

3,898

T5 Base

Apache-2.0

T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。

大型语言模型

支持多种语言

T

google-t5

5.4M

702

Xlm Roberta Large

MIT

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

大型语言模型

支持多种语言

X

FacebookAI

5.3M

431