基础模型: mistralai/Mistral-7B-Instruct-v0.3 推理: 不支持 库名称: transformers 许可证: apache-2.0 流水线标签: 文本生成 量化者: Suparious 标签:

• 4位量化
• AWQ算法
• 文本生成
• 兼容自动训练
• 兼容终端部署

mistralai/Mistral-7B-Instruct-v0.3 AWQ版

• 模型创建者: mistralai
• 原始模型: Mistral-7B-Instruct-v0.3

模型概述

Mistral-7B-Instruct-v0.3大语言模型是基于Mistral-7B-v0.3进行指令微调的版本。

相较于Mistral-7B-v0.2，v0.3版本主要改进包括：

• 词表扩展至32768个token
• 支持v3版分词器
• 支持函数调用功能

使用指南

安装必要依赖包

pip install --upgrade autoawq autoawq-kernels

Python调用示例

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

# 配置模型路径和系统提示
model_path = "solidrust/Mistral-7B-Instruct-v0.3-AWQ"
system_message = "你是Mistral-7B-Instruct-v0.3，一个由mistralai创造的强大AI助手。"

# 加载量化模型
model = AutoAWQForCausalLM.from_quantized(model_path,
                                         fuse_layers=True)
tokenizer = AutoTokenizer.from_pretrained(model_path,
                                         trust_remote_code=True)
streamer = TextStreamer(tokenizer,
                       skip_prompt=True,
                       skip_special_tokens=True)

# 构建提示模板
prompt_template = """\
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

# 设置推理问题
prompt = "你站在地球表面。先向南走一英里，再向西走一英里，最后向北走一英里。"\
         "结果回到了起点。你现在位于何处？"

# 生成推理结果
tokens = tokenizer(prompt_template.format(system_message=system_message,prompt=prompt),
                 return_tensors='pt').input_ids.cuda()
generation_output = model.generate(tokens,
                                 streamer=streamer,
                                 max_new_tokens=512)

AWQ技术说明

AWQ是一种高效、精准且极速的低比特权重量化方法，当前支持4位量化。相比GPTQ，在保持相当或更优质量的前提下，能提供更快的基于Transformers的推理速度。

当前AWQ模型仅支持Linux和Windows系统，且需搭配NVIDIA显卡。Mac用户建议使用GGUF格式模型。

支持该技术的平台包括：

• 文本生成Web界面 - 通过AutoAWQ加载器
• vLLM推理框架 - 需0.2.2及以上版本
• Hugging Face文本生成推理服务(TGI)
• Transformers库 4.35.0+版本
• AutoAWQ工具包 - Python直接调用