Dolphin 2.5 Mixtral 8x7b GPTQ

由 TheBloke 开发

Dolphin 2.5 Mixtral 8X7B 是由 Eric Hartford 开发的一个基于 Mixtral 架构的大型语言模型，经过多种高质量数据集的微调，适用于多种自然语言处理任务。

大型语言模型

Transformers

英语

开源协议:Apache-2.0 #多专家混合模型 #长序列处理 #指令微调

下载量 164

发布时间 : 12/14/2023

模型介绍

内容详情

替代品

模型简介

该模型是一个基于 Mixtral 8X7B 架构的大型语言模型，经过 Dolphin 数据集的微调，支持多种自然语言处理任务，包括文本生成、代码生成等。

模型特点

多专家模型

基于 Mixtral 8X7B 架构，采用多专家模型设计，能够高效处理复杂任务。

高质量微调

使用多种高质量数据集（如 Dolphin、Airoboros、Synthia 等）进行微调，提升模型性能。

支持长上下文

支持长达 8192 的上下文长度，适合处理长文本任务。

量化支持

提供多种量化版本（如 3-bit、4-bit、8-bit），降低硬件需求。

模型能力

文本生成

代码生成

自然语言理解

指令跟随

使用案例

代码生成

代码补全

根据用户提供的代码片段生成补全代码。

生成高质量的代码补全建议。

代码解释

解释复杂代码的功能和逻辑。

提供清晰易懂的代码解释。

文本生成

创意写作

生成故事、诗歌等创意文本。

生成富有创意的文本内容。

技术文档

根据用户需求生成技术文档或说明。

生成结构清晰、内容准确的技术文档。

base_model: ehartford/dolphin-2.5-mixtral-8x7b datasets:

ehartford/dolphin
jondurbin/airoboros-2.2.1
ehartford/dolphin-coder
migtissera/Synthia-v1.3
teknium/openhermes
ise-uiuc/Magicoder-OSS-Instruct-75K
ise-uiuc/Magicoder-Evol-Instruct-110K
LDJnr/Pure-Dove inference: false language:
en license: apache-2.0 model_creator: Eric Hartford model_name: Dolphin 2.5 Mixtral 8X7B model_type: mixtral prompt_template: '<|im_start|>system

{system_message}<|im_end|>

<|im_start|>user

{prompt}<|im_end|>

<|im_start|>assistant

' quantized_by: TheBloke

交流与支持：加入TheBloke的Discord服务器

想要支持我们？访问TheBloke的Patreon页面

TheBloke的LLM工作得到了安德森·霍洛维茨（a16z）的慷慨资助

Dolphin 2.5 Mixtral 8X7B - GPTQ

模型创作者：Eric Hartford
原始模型：Dolphin 2.5 Mixtral 8X7B

模型描述

本仓库包含Eric Hartford的Dolphin 2.5 Mixtral 8X7B的GPTQ模型文件。

当前Mixtral GPTQ需要：

Transformers 4.36.0或更高版本
从源码编译的AutoGPTQ 0.6，或
从Github安装的Transformers 4.37.0.dev0：pip3 install git+https://github.com/huggingface/transformers

提供了多种GPTQ参数组合；详情请参阅下方“提供的文件”部分，了解提供的选项、参数及创建它们所使用的软件。

可用仓库

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

已知兼容的客户端/服务器

GPTQ模型目前支持Linux（NVIDIA/AMD）和Windows（仅限NVIDIA）。macOS用户请使用GGUF模型。

当前Mixtral GPTQ有特殊要求——请参阅上方的描述。

提供的文件及GPTQ参数

提供了多种量化参数，以便您根据硬件和需求选择最适合的选项。

每个独立的量化版本位于不同的分支。请参阅下方从不同分支获取的说明。

大多数GPTQ文件使用AutoGPTQ制作。Mistral模型当前使用Transformers制作。

GPTQ参数说明

Bits：量化模型的位数。
GS：GPTQ组大小。数值越高，VRAM使用越少，但量化精度越低。“None”是最小可能值。
Act Order：True或False。也称为desc_act。True会提高量化精度。某些GPTQ客户端在使用Act Order加Group Size时曾遇到问题，但通常现已解决。
Damp %：影响量化样本处理的GPTQ参数。默认0.01，但0.1会略微提高精度。
GPTQ数据集：量化期间使用的校准数据集。使用更符合模型训练的数据集可提高量化精度。注意，GPTQ校准数据集与训练模型所用的数据集不同——详情请参阅原始模型仓库的训练数据集信息。
序列长度：用于量化的数据集序列长度。理想情况下应与模型序列长度相同。对于某些超长序列模型（16+K），可能需要使用较短的序列长度。注意，较短的序列长度不会限制量化模型的序列长度，仅影响较长推理序列的量化精度。
ExLlama兼容性：此文件是否可用ExLlama加载，当前仅支持4位的Llama和Mistral模型。

分支	位数	GS	Act Order	Damp %	GPTQ数据集	序列长度	大小	ExLlama	描述
main	4	None	Yes	0.1	VMware Open Instruct	8192	23.81 GB	No	4位，带Act Order。无组大小，以降低VRAM需求。
gptq-4bit-128g-actorder_True	4	128	Yes	0.1	VMware Open Instruct	8192	24.70 GB	No	4位，带Act Order和128g组大小。比64g使用更少VRAM，但精度略低。
gptq-4bit-32g-actorder_True	4	32	Yes	0.1	VMware Open Instruct	8192	27.42 GB	No	4位，带Act Order和32g组大小。提供最高推理质量，VRAM使用最大。
gptq-3bit--1g-actorder_True	3	None	Yes	0.1	VMware Open Instruct	8192	18.01 GB	No	3位，带Act Order且无组大小。VRAM需求最低，可能质量低于3位128g。
gptq-3bit-128g-actorder_True	3	128	Yes	0.1	VMware Open Instruct	8192	18.85 GB	No	3位，带128g组大小和act-order。质量高于128g-False。
gptq-3bit-32g-actorder_True	3	32	Yes	0.1	VMware Open Instruct	8192	21.43 GB	No	3位，带64g组大小和act-order。最高质量的3位选项。
gptq-8bit--1g-actorder_True	8	None	Yes	0.1	VMware Open Instruct	8192	47.04 GB	No	8位，带Act Order。无组大小，以降低VRAM需求。
gptq-8bit-128g-actorder_True	8	128	Yes	0.1	VMware Open Instruct	8192	48.10 GB	No	8位，带128g组大小以提高推理质量，并带Act Order以进一步提高精度。

如何下载，包括从分支下载

在text-generation-webui中

要从main分支下载，在“下载模型”框中输入TheBloke/dolphin-2.5-mixtral-8x7b-GPTQ。

要从其他分支下载，在下载名称后添加:branchname，例如TheBloke/dolphin-2.5-mixtral-8x7b-GPTQ:gptq-4bit-128g-actorder_True

从命令行

建议使用huggingface-hub Python库：

pip3 install huggingface-hub

要将main分支下载到名为dolphin-2.5-mixtral-8x7b-GPTQ的文件夹：

mkdir dolphin-2.5-mixtral-8x7b-GPTQ
huggingface-cli download TheBloke/dolphin-2.5-mixtral-8x7b-GPTQ --local-dir dolphin-2.5-mixtral-8x7b-GPTQ --local-dir-use-symlinks False

要从不同分支下载，添加--revision参数：

mkdir dolphin-2.5-mixtral-8x7b-GPTQ
huggingface-cli download TheBloke/dolphin-2.5-mixtral-8x7b-GPTQ --revision gptq-4bit-128g-actorder_True --local-dir dolphin-2.5-mixtral-8x7b-GPTQ --local-dir-use-symlinks False