标签:

• fp8
• vllm

Meta-Llama-3-8B-Instruct-FP8-KV

模型概述

Meta-Llama-3-8B-Instruct模型经过FP8权重和激活值的逐张量量化，适用于vLLM >= 0.5.0进行推理。
该模型检查点还包含FP8量化KV缓存的逐张量缩放参数，可通过vLLM中的--kv-cache-dtype fp8参数调用。

from vllm import LLM
model = LLM(model="neuralmagic/Meta-Llama-3-8B-Instruct-FP8-KV", kv_cache_dtype="fp8")
result = model.generate("你好，我的名字是")

使用与创建

使用AutoFP8工具结合ultrachat校准样本生成。

from datasets import load_dataset
from transformers import AutoTokenizer

from auto_fp8 import AutoFP8ForCausalLM, BaseQuantizeConfig

预训练模型目录 = "meta-llama/Meta-Llama-3-8B-Instruct"
量化模型目录 = "Meta-Llama-3-8B-Instruct-FP8-KV"

tokenizer = AutoTokenizer.from_pretrained(预训练模型目录, use_fast=True)
tokenizer.pad_token = tokenizer.eos_token

数据集 = load_dataset("mgoin/ultrachat_2k", split="train_sft")
样本 = [tokenizer.apply_chat_template(批次["messages"], tokenize=False) for 批次 in 数据集]
样本 = tokenizer(样本, padding=True, truncation=True, return_tensors="pt").to("cuda")

量化配置 = BaseQuantizeConfig(
    量化方法="fp8",
    激活方案="static",
    忽略模式=["re:.*lm_head"],
    KV缓存量化目标=("k_proj", "v_proj"),
)

模型 = AutoFP8ForCausalLM.from_pretrained(预训练模型目录, 量化配置)
模型.quantize(样本)
模型.save_quantized(量化模型目录)

评估

Open LLM排行榜评估得分