base_model: IlyaGusev/saiga_mistral_7b_merged inference: false model_creator: Ilya Gusev model_name: Saiga Mistral 7B model_type: mistral prompt_template: '<|im_start|>system

{system_message}<|im_end|>

<|im_start|>user

{prompt}<|im_end|>

<|im_start|>assistant

' quantized_by: TheBloke

Saiga Mistral 7B - GPTQ

• 模型创建者：Ilya Gusev
• 原始模型：Saiga Mistral 7B

描述

此仓库包含Ilya Gusev的Saiga Mistral 7B的GPTQ模型文件。

提供了多种GPTQ参数组合；详情请参阅下面的“提供文件”部分，了解提供的选项、其参数及创建它们所使用的软件。

这些文件使用了由Massed Compute慷慨提供的硬件进行量化。

可用仓库

• 用于GPU推理的AWQ模型。
• 用于GPU推理的GPTQ模型，提供多种量化参数选项。
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• Ilya Gusev的原始未量化fp16模型，以pytorch格式提供，用于GPU推理和进一步转换

提示模板：ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant