🚀 Mistral-7B-Instruct-v0.3-GPTQ-8b量化模型

本项目是基于 Mistral-7B-Instruct-v0.3 模型，由 IST Austria 采用 GPTQ 方法进行量化得到的模型。使用该量化模型，能在一定程度上减少模型的存储和计算资源需求，同时保持较好的性能。

🚀 快速开始

安装与运行

首先，安装 vLLM，然后运行 服务：

python -m vllm.entrypoints.openai.api_server --model cortecs/Mistral-7B-Instruct-v0.3-GPTQ-8b

访问模型

运行以下命令来访问模型：

curl http://localhost:8000/v1/completions     -H "Content-Type: application/json"     -d ' {
        "model": "cortecs/Mistral-7B-Instruct-v0.3-GPTQ-8b",
        "prompt": "San Francisco is a"
    } '

✨ 主要特性

• 数据集：使用 wikitext 数据集。
• 量化配置：
  • 8bit 量化
  • Act order: True
  • Group size: 128

📚 详细文档

评估结果

评估说明：

• 未检查数据污染情况。
• 评估使用 Eval. Harness，并设置 limit=1000。

性能表现

性能测试在 cortecs inference 上进行。