许可证：llama3.3
语言：

• 英语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语
• 德语
  库名称：transformers
  流水线标签：文本生成
  标签：
• llama-3.3
• meta
• autoawq
  基础模型：
• meta-llama/Llama-3.3-70B-Instruct

量化模型信息

[!重要提示]
本仓库是meta-llama/Llama-3.3-70B-Instruct的AWQ 4位量化版本，原模型由Meta AI发布。

此模型使用AutoAWQ从FP16量化至INT4，采用GEMM内核、零点量化和128的分组大小。

硬件配置：Intel Xeon CPU E5-2699A v4 @ 2.40GHz，256GB内存，2块NVIDIA RTX 3090显卡。

下文提供了Transformers、AutoAWQ、文本生成接口（TGI）和vLLM的模型使用（推理）信息，以及量化复现细节。

原始模型信息

Meta Llama 3.3多语言大语言模型（LLM）是一个预训练且经过指令调优的生成式模型，参数量为700亿（文本输入/输出）。Llama 3.3指令调优纯文本模型针对多语言对话场景优化，在常见行业基准测试中表现优于许多开源和闭源聊天模型。

模型使用

要使用此量化模型，支持通过transformers、autoawq或text-generation-inference等不同方案运行。

[!注意]
运行Llama 3.3 70B Instruct AWQ INT4推理时，加载模型检查点约需35GiB显存（不包括KV缓存或CUDA图），因此需确保显存略高于此值。

🤗 Transformers

运行Llama 3.3 70B Instruct AWQ INT4推理需安装以下包：

pip install -q --upgrade transformers autoawq accelerate  

通过AutoModelForCausalLM实例化AWQ模型，按常规方式运行推理：

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig  

model_id = "ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4"  
quantization_config = AwqConfig(  
    bits=4,  
    fuse_max_seq_len=512,  # 注意：根据实际使用场景调整  
    do_fuse=True,  
)  

tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoModelForCausalLM.from_pretrained(  
  model_id,  
  torch_dtype=torch.float16,  
  low_cpu_mem_usage=True,  
  device_map="auto",  
  quantization_config=quantization_config  
)  

prompt = [  
  {"role": "system", "content": "你是一个用海盗口吻回答问题的助手。"},  
  {"role": "user", "content": "什么是深度学习？"},  
]  
inputs = tokenizer.apply_chat_template(  
  prompt,  
  tokenize=True,  
  add_generation_prompt=True,  
  return_tensors="pt",  
  return_dict=True,  
).to("cuda")  

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)  
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])  

AutoAWQ

运行Llama 3.3 70B Instruct AWQ INT4推理需安装以下包：

pip install -q --upgrade transformers autoawq accelerate  

也可通过AutoAWQ运行（尽管其基于🤗 transformers），但更推荐上述方式：

import torch  
from awq import AutoAWQForCausalLM  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = "ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoAWQForCausalLM.from_pretrained(  
  model_id,  
  torch_dtype=torch.float16,  
  low_cpu_mem_usage=True,  
  device_map="auto",  
)  

prompt = [  
  {"role": "system", "content": "你是一个用海盗口吻回答问题的助手。"},  
  {"role": "user", "content": "什么是深度学习？"},  
]  
inputs = tokenizer.apply_chat_template(  
  prompt,  
  tokenize=True,  
  add_generation_prompt=True,  
  return_tensors="pt",  
  return_dict=True,  
).to("cuda")  

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)  
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])  

此脚本改编自AutoAWQ/examples/generate.py。

🤗 文本生成推理（TGI）

使用Marlin内核运行Llama 3.3 70B Instruct AWQ INT4优化推理需安装Docker（参见安装说明）和huggingface_hub包以登录Hugging Face Hub：

pip install -q --upgrade huggingface_hub  
huggingface-cli login  

运行TGI v2.2.0（或更高版本）Docker容器：

docker run --gpus all --shm-size 1g -ti -p 8080:80 \  
  -v hf_cache:/data \  
  -e MODEL_ID=ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4 \  
  -e NUM_SHARD=4 \  
  -e QUANTIZE=awq \  
  -e HF_TOKEN=$(cat ~/.cache/huggingface/token) \  
  -e MAX_INPUT_LENGTH=4000 \  
  -e MAX_TOTAL_TOKENS=4096 \  
  ghcr.io/huggingface/text-generation-inference:2.2.0  

[!注意]
TGI会暴露不同端点，完整列表参见TGI OpenAPI规范。

向兼容OpenAI OpenAPI规范的TGI端点/v1/chat/completions发送请求：

curl 0.0.0.0:8080/v1/chat/completions \  
  -X POST \  
  -H 'Content-Type: application/json' \  
  -d '{  
    "model": "tgi",  
    "messages": [  
      {  
        "role": "system",  
        "content": "你是一个乐于助人的助手。"  
      },  
      {  
        "role": "user",  
        "content": "什么是深度学习？"  
      }  
    ],  
    "max_tokens": 128  
  }'  

或通过huggingface_hub客户端编程实现：

import os  
from huggingface_hub import InferenceClient  

client = InferenceClient(base_url="http://0.0.0.0:8080", api_key=os.getenv("HF_TOKEN", "-"))  

chat_completion = client.chat.completions.create(  
  model="ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4",  
  messages=[  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "什么是深度学习？"},  
  ],  
  max_tokens=128,  
)  

也可使用OpenAI Python客户端（参见安装说明）：

import os  
from openai import OpenAI  

client = OpenAI(base_url="http://0.0.0.0:8080/v1", api_key=os.getenv("OPENAI_API_KEY", "-"))  

chat_completion = client.chat.completions.create(  
  model="tgi",  
  messages=[  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "什么是深度学习？"},  
  ],  
  max_tokens=128,  
)  

vLLM

运行vLLM需安装Docker（参见安装说明），运行最新vLLM容器：

docker run --runtime nvidia --gpus all --ipc=host -p 8000:8000 \  
  -v hf_cache:/root/.cache/huggingface \  
  vllm/vllm-openai:latest \  
  --model ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4 \  
  --tensor-parallel-size 4 \  
  --max-model-len 4096  

向兼容OpenAI OpenAPI规范的vLLM端点/v1/chat/completions发送请求：

curl 0.0.0.0:8000/v1/chat/completions \  
  -X POST \  
  -H 'Content-Type: application/json' \  
  -d '{  
    "model": "ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4",  
    "messages": [  
      {  
        "role": "system",  
        "content": "你是一个乐于助人的助手。"  
      },  
      {  
        "role": "user",  
        "content": "什么是深度学习？"  
      }  
    ],  
    "max_tokens": 128  
  }'  

或通过openai Python客户端编程实现：

import os  
from openai import OpenAI  

client = OpenAI(base_url="http://0.0.0.0:8000/v1", api_key=os.getenv("VLLM_API_KEY", "-"))  

chat_completion = client.chat.completions.create(  
  model="ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4",  
  messages=[  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "什么是深度学习？"},  
  ],  
  max_tokens=128,  
)  

量化复现信息

[!注意]
使用AutoAWQ量化Llama 3.3 70B Instruct需至少140GiB CPU内存和40GiB显存的NVIDIA GPU。

量化Llama 3.3 70B Instruct需先安装以下包：

pip install -q --upgrade transformers autoawq accelerate  

本次量化使用单节点配置：Intel Xeon CPU E5-2699A v4 @ 2.40GHz，256GB内存，2块NVIDIA RTX 3090（每块24GB显存，总计48GB显存）。

初始方案改编自hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4，特别感谢Hugging Quants团队、AutoAWQ团队和MIT HAN Lab的LLM-AWQ。同时感谢科罗拉多大学博尔德分校的David Dobolyi教授和Hugging Face的Marc Sun，特别是AutoAWQ PR#630。

改编自AutoAWQ/examples/quantize.py和hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4：

from awq import AutoAWQForCausalLM  
from transformers import AutoTokenizer  
import torch  

# 清空缓存  
torch.cuda.empty_cache()  

# 内存限制 - 根据硬件配置调整  
max_memory = {0: "22GiB", 1