🚀 Openhermes 2.5 Mistral 7B - GPTQ

Openhermes 2.5 Mistral 7B - GPTQ 是一个基于 Mistral 架构的量化模型，可用于多种自然语言处理任务，如文本生成、问答等。它提供了多种量化参数选项，以适应不同的硬件和需求。

🚀 快速开始

下载模型

你可以通过以下几种方式下载该模型：

在 text-generation-webui 中下载

• 从 main 分支下载，在“Download custom model or LoRA”中输入 TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ。
• 从其他分支下载，在下载名称后添加 :branchname，例如 TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ:gptq-4bit-32g-actorder_True。

从命令行下载

推荐使用 huggingface-hub Python 库：

pip3 install huggingface-hub

下载 main 分支到 OpenHermes-2.5-Mistral-7B-GPTQ 文件夹：

mkdir OpenHermes-2.5-Mistral-7B-GPTQ
huggingface-cli download TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ --local-dir OpenHermes-2.5-Mistral-7B-GPTQ --local-dir-use-symlinks False

从其他分支下载，添加 --revision 参数：

mkdir OpenHermes-2.5-Mistral-7B-GPTQ
huggingface-cli download TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ --revision gptq-4bit-32g-actorder_True --local-dir OpenHermes-2.5-Mistral-7B-GPTQ --local-dir-use-symlinks False

使用 git 下载（不推荐）

git clone --single-branch --branch gptq-4bit-32g-actorder_True https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ

在 text-generation-webui 中使用模型

1. 确保使用的是 text-generation-webui 的最新版本。
2. 点击 Model tab。
3. 在 Download custom model or LoRA 中输入 TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ。
   • 若要从特定分支下载，输入如 TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ:gptq-4bit-32g-actorder_True。
4. 点击 Download。
5. 模型下载完成后会显示 "Done"。
6. 点击左上角 Model 旁边的刷新图标。
7. 在 Model 下拉菜单中选择刚下载的模型 OpenHermes-2.5-Mistral-7B-GPTQ。
8. 模型将自动加载，即可使用。
9. 如需自定义设置，设置后点击 Save settings for this model 再点击 Reload the Model。

从 Text Generation Inference (TGI) 服务使用模型

推荐使用 TGI 版本 1.1.0 或更高版本，官方 Docker 容器为：ghcr.io/huggingface/text-generation-inference:1.1.0。 示例 Docker 参数：

--model-id TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ --port 3000 --quantize gptq --max-input-length 3696 --max-total-tokens 4096 --max-batch-prefill-tokens 4096

示例 Python 代码：

from huggingface_hub import InferenceClient

endpoint_url = "https://your-endpoint-url-here"

prompt = "Tell me about AI"
prompt_template=f'''<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
'''

client = InferenceClient(endpoint_url)
response = client.text_generation(prompt,
                                  max_new_tokens=128,
                                  do_sample=True,
                                  temperature=0.7,
                                  top_p=0.95,
                                  top_k=40,
                                  repetition_penalty=1.1)

print(f"Model output: {response}")

从 Python 代码使用该 GPTQ 模型

安装必要的包

pip3 install transformers optimum
pip3 install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # 使用 cu117 如果是 CUDA 11.7

若安装 AutoGPTQ 有问题，从源码安装：

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.4.2
pip3 install .

使用代码示例

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ"
# 若使用不同分支，更改 revision
# 例如: revision="gptq-4bit-32g-actorder_True"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "Tell me about AI"
prompt_template=f'''<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
'''

print("\n\n*** Generate:")

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

# 也可以使用 transformers 的 pipeline 进行推理
print("*** Pipeline:")
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    repetition_penalty=1.1
)

print(pipe(prompt_template)[0]['generated_text'])

✨ 主要特性

• 多种量化参数选项：提供多种量化参数，可根据硬件和需求选择最佳参数。
• 广泛的兼容性：已知可在多个推理服务器和 Web UI 中使用，如 text-generation-webui、KoboldAI United 等。
• 高性能：在多个基准测试中表现出色，如 GPT4All、AGIEval 等。

📦 安装指南

安装所需的依赖包：

pip3 install transformers optimum
pip3 install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # 使用 cu117 如果是 CUDA 11.7

若安装 AutoGPTQ 有问题，从源码安装：

pip3 uninstall -y auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ
cd AutoGPTQ
git checkout v0.4.2
pip3 install .

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "Tell me about AI"
prompt_template=f'''<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
'''

input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=512)
print(tokenizer.decode(output[0]))

高级用法

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_name_or_path = "TheBloke/OpenHermes-2.5-Mistral-7B-GPTQ"
# 使用不同分支
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             trust_remote_code=False,
                                             revision="gptq-4bit-32g-actorder_True")

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)

prompt = "Tell me about AI"
prompt_template=f'''<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
'''

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    repetition_penalty=1.1
)

print(pipe(prompt_template)[0]['generated_text'])

📚 详细文档

模型信息

提示模板

使用 ChatML 提示模板：

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

已知兼容的客户端/服务器

• text-generation-webui
• KoboldAI United
• LoLLMS Web UI
• Hugging Face Text Generation Inference (TGI)

提供的文件和 GPTQ 参数

多个量化参数可供选择，每个单独的量化在不同的分支中。大多数 GPTQ 文件使用 AutoGPTQ 制作，Mistral 模型目前使用 Transformers 制作。

🔧 技术细节

量化过程

模型量化使用了多种参数，以平衡 VRAM 使用和量化精度。不同的量化参数在不同的分支中提供，用户可以根据自己的硬件和需求选择。

基准测试结果

在多个基准测试中，OpenHermes 2.5 Mistral 7B 表现出色，例如在 GPT4All 基准测试中平均得分为 73.12，在 AGIEval 中平均得分为 43.07% 等。与之前的 OpenHermes 模型相比，性能有了显著提升。

📄 许可证

该模型使用 Apache - 2.0 许可证。

其他信息

Discord

如需进一步支持，或参与有关这些模型和 AI 的讨论，可加入 TheBloke AI 的 Discord 服务器。

感谢与贡献

感谢 chirper.ai 团队和 [gpus.llm - utils.org](llm - utils) 的 Clay！

如果您愿意贡献，捐赠将非常感激，这将帮助作者提供更多模型并开展新的 AI 项目。捐赠者将获得优先支持、访问私人 Discord 房间等福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko - Fi: https://ko - fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon 特别提及：Brandon Frisco、LangChain4j 等众多支持者。