许可证：llama3.1
语言：

• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语
  库名称：transformers
  流水线标签：文本生成
  标签：
• llama-3.1
• meta
• autoawq

[!重要提示]
本仓库是原始模型 meta-llama/Meta-Llama-3.1-8B-Instruct 的社区驱动量化版本，该模型是 Meta AI 发布的 BF16 半精度官方版本。

模型信息

Meta Llama 3.1 系列多语言大语言模型（LLMs）是一组预训练和指令调优的生成模型，包含 8B、70B 和 405B 规模（文本输入/文本输出）。Llama 3.1 指令调优的纯文本模型（8B、70B、405B）针对多语言对话用例进行了优化，在常见的行业基准测试中优于许多开源和闭源聊天模型。

本仓库包含使用 AutoAWQ 从 FP16 量化到 INT4 的 meta-llama/Meta-Llama-3.1-8B-Instruct，采用 GEMM 内核执行零点量化，分组大小为 128。

模型使用

[!注意]
要在 INT4 精度下运行 Llama 3.1 8B Instruct AWQ 的推理，仅加载模型检查点就需要约 4 GiB 的显存，不包括 KV 缓存或 CUDA 图，因此需要略多于该显存的可用资源。

要使用当前的量化模型，支持不同的解决方案，如 transformers、autoawq 或 text-generation-inference。

🤗 Transformers

要在 INT4 精度下运行 Llama 3.1 8B Instruct AWQ 的推理，需要安装以下包：

pip install -q --upgrade transformers autoawq accelerate  

要在 INT4 精度下运行 Llama 3.1 8B Instruct AWQ 的推理，可以通过 AutoModelForCausalLM 实例化 AWQ 模型，并正常进行推理。

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig  

model_id = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"  

quantization_config = AwqConfig(  
    bits=4,  
    fuse_max_seq_len=512, # 注意：根据您的用例更新此值  
    do_fuse=True,  
)  

tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoModelForCausalLM.from_pretrained(  
  model_id,  
  torch_dtype=torch.float16,  
  low_cpu_mem_usage=True,  
  device_map="auto",  
  quantization_config=quantization_config  
)  

prompt = [  
  {"role": "system", "content": "你是一个乐于助人的助手，回答时像海盗一样。"},  
  {"role": "user", "content": "什么是深度学习？"},  
]  
inputs = tokenizer.apply_chat_template(  
  prompt,  
  tokenize=True,  
  add_generation_prompt=True,  
  return_tensors="pt",  
  return_dict=True,  
).to("cuda")  

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)  
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])  

AutoAWQ

要在 INT4 精度下运行 Llama 3.1 8B Instruct AWQ 的推理，需要安装以下包：

pip install -q --upgrade transformers autoawq accelerate  

或者，也可以通过 AutoAWQ 运行，尽管它是基于 🤗 transformers 构建的，但推荐使用上述方法。

import torch  
from awq import AutoAWQForCausalLM  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoAWQForCausalLM.from_pretrained(  
  model_id,  
  torch_dtype=torch.float16,  
  low_cpu_mem_usage=True,  
  device_map="auto",  
)  

prompt = [  
  {"role": "system", "content": "你是一个乐于助人的助手，回答时像海盗一样。"},  
  {"role": "user", "content": "什么是深度学习？"},  
]  
inputs = tokenizer.apply_chat_template(  
  prompt,  
  tokenize=True,  
  add_generation_prompt=True,  
  return_tensors="pt",  
  return_dict=True,  
).to("cuda")  

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)  
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])  

AutoAWQ 脚本改编自 AutoAWQ/examples/generate.py。

🤗 文本生成推理（TGI）

要使用 Marlin 内核运行 text-generation-launcher 以优化推理速度，在 INT4 精度下运行 Llama 3.1 8B Instruct AWQ，需要安装 Docker（参见安装说明）和 huggingface_hub Python 包，因为需要登录 Hugging Face Hub。

pip install -q --upgrade huggingface_hub  
huggingface-cli login  

然后只需运行 TGI v2.2.0（或更高版本）的 Docker 容器，如下所示：

docker run --gpus all --shm-size 1g -ti -p 8080:80 \  
  -v hf_cache:/data \  
  -e MODEL_ID=hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 \  
  -e QUANTIZE=awq \  
  -e HF_TOKEN=$(cat ~/.cache/huggingface/token) \  
  -e MAX_INPUT_LENGTH=4000 \  
  -e MAX_TOTAL_TOKENS=4096 \  
  ghcr.io/huggingface/text-generation-inference:2.2.0  

[!注意]
TGI 将公开不同的端点，要查看所有可用端点，请参阅 TGI OpenAPI 规范。

要向部署的 TGI 端点发送请求，兼容 OpenAI OpenAPI 规范，即 /v1/chat/completions：

curl 0.0.0.0:8080/v1/chat/completions \  
  -X POST \  
  -H 'Content-Type: application/json' \  
  -d '{  
    "model": "tgi",  
    "messages": [  
      {  
        "role": "system",  
        "content": "你是一个乐于助人的助手。"  
      },  
      {  
        "role": "user",  
        "content": "什么是深度学习？"  
      }  
    ],  
    "max_tokens": 128  
  }'  

或通过 huggingface_hub Python 客户端以编程方式发送：

import os  
from huggingface_hub import InferenceClient  

client = InferenceClient(base_url="http://0.0.0.0:8080", api_key=os.getenv("HF_TOKEN", "-"))  

chat_completion = client.chat.completions.create(  
  model="hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",  
  messages=[  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "什么是深度学习？"},  
  ],  
  max_tokens=128,  
)  

或者，也可以使用 OpenAI Python 客户端（参见安装说明）：

import os  
from openai import OpenAI  

client = OpenAI(base_url="http://0.0.0.0:8080/v1", api_key=os.getenv("OPENAI_API_KEY", "-"))  

chat_completion = client.chat.completions.create(  
  model="tgi",  
  messages=[  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "什么是深度学习？"},  
  ],  
  max_tokens=128,  
)  

vLLM

要运行 vLLM 在 INT4 精度下运行 Llama 3.1 8B Instruct AWQ，需要安装 Docker（参见安装说明）并运行最新的 vLLM Docker 容器，如下所示：

docker run --runtime nvidia --gpus all --ipc=host -p 8000:8000 \  
  -v hf_cache:/root/.cache/huggingface \  
  vllm/vllm-openai:latest \  
  --model hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 \  
  --max-model-len 4096  

要向部署的 vLLM 端点发送请求，兼容 OpenAI OpenAPI 规范，即 /v1/chat/completions：

curl 0.0.0.0:8000/v1/chat/completions \  
  -X POST \  
  -H 'Content-Type: application/json' \  
  -d '{  
    "model": "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",  
    "messages": [  
      {  
        "role": "system",  
        "content": "你是一个乐于助人的助手。"  
      },  
      {  
        "role": "user",  
        "content": "什么是深度学习？"  
      }  
    ],  
    "max_tokens": 128  
  }'  

或通过 openai Python 客户端以编程方式发送（参见安装说明）：

import os  
from openai import OpenAI  

client = OpenAI(base_url="http://0.0.0.0:8000/v1", api_key=os.getenv("VLLM_API_KEY", "-"))  

chat_completion = client.chat.completions.create(  
  model="hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",  
  messages=[  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "什么是深度学习？"},  
  ],  
  max_tokens=128,  
)  

量化复现

[!注意]
要使用 AutoAWQ 量化 Llama 3.1 8B Instruct，需要使用至少具有足够 CPU 内存来容纳整个模型的实例，即约 8GiB，以及具有 16GiB 显存的 NVIDIA GPU 来量化它。

要量化 Llama 3.1 8B Instruct，首先安装以下包：

pip install -q --upgrade transformers autoawq accelerate  

然后运行以下脚本，改编自 AutoAWQ/examples/quantize.py：

from awq import AutoAWQForCausalLM  
from transformers import AutoTokenizer  

model_path = "meta-llama/Meta-Llama-3.1-8B-Instruct"  
quant_path = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"  
quant_config = {  
  "zero_point": True,  
  "q_group_size": 128,  
  "w_bit": 4,  
  "version": "GEMM",  
}  

# 加载模型  
model = AutoAWQForCausalLM.from_pretrained(  
  model_path, low_cpu_mem_usage=True, use_cache=False,  
)  
tokenizer = AutoTokenizer.from_pretrained(model_path)  

# 量化  
model.quantize(tokenizer, quant_config=quant_config)  

# 保存量化模型  
model.save_quantized(quant_path)  
tokenizer.save_pretrained(quant_path)  

print(f'模型已量化并保存在 "{quant_path}"')