库名称: transformers 标签:

• torchao
• phi
• phi4
• nlp
• 代码
• 数学
• 聊天
• 对话式
  许可证: mit
  语言:
• 多语言
  基础模型:
• microsoft/Phi-4-mini-instruct
  管道标签: 文本生成

Phi4-mini模型通过torchao进行float8动态激活和float8权重量化（行级粒度），由PyTorch团队实现。可直接使用，或通过vLLM部署，在H100上实现36%显存降低、15-20%速度提升且几乎不影响精度。

使用vLLM推理

安装vllm nightly版本以获取最新更新：

pip install vllm --pre --extra-index-url https://wheels.vllm.ai/nightly
pip install torchao

代码示例

from vllm import LLM, SamplingParams

# 示例提示词
prompts = [
    "你好，我的名字是",
    "美国总统是",
    "法国首都是",
    "AI的未来是",
]
# 创建采样参数对象
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)


if __name__ == '__main__':
    # 创建LLM实例
    llm = LLM(model="pytorch/Phi-4-mini-instruct-float8dq")
    # 生成文本
    # 输出是包含提示词、生成文本等信息的RequestOutput对象列表
    outputs = llm.generate(prompts, sampling_params)
    # 打印输出
    print("\n生成结果:\n" + "-" * 60)
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"提示词:    {prompt!r}")
        print(f"输出:    {generated_text!r}")
        print("-" * 60)

注意：运行代码时请使用VLLM_DISABLE_COMPILE_CACHE=1禁用编译缓存，例如VLLM_DISABLE_COMPILE_CACHE=1 python example.py，因vLLM与torchao的编译组合存在已知问题，预计在pytorch 2.8中解决。

服务部署

使用以下命令启动服务：

vllm serve pytorch/Phi-4-mini-instruct-float8dq --tokenizer microsoft/Phi-4-mini-instruct -O3

使用Transformers推理

安装必要包：

pip install git+https://github.com/huggingface/transformers@main
pip install torchao
pip install torch
pip install accelerate

示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
torch.random.manual_seed(0)

model_path = "pytorch/Phi-4-mini-instruct-float8dq"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_path)
 
messages = [
    {"role": "system", "content": "你是一个乐于助人的AI助手。"},
    {"role": "user", "content": "能提供香蕉和火龙果的搭配吃法吗？"},
    {"role": "assistant", "content": "当然！以下是香蕉和火龙果的搭配建议：1. 香蕉火龙果奶昔：将香蕉和火龙果与牛奶、蜂蜜一起搅拌。2. 香蕉火龙果沙拉：切片后加柠檬汁和蜂蜜拌匀。"},
    {"role": "user", "content": "如何解方程2x + 3 = 7？"},
]
 
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)
 
generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}
 
output = pipe(messages, **generation_args)
print(output[0]['generated_text'])

量化方案

安装必要包：

pip install git+https://github.com/huggingface/transformers@main
pip install --pre torchao --index-url https://download.pytorch.org/whl/nightly/cu126
pip install torch
pip install accelerate

使用以下代码获取量化模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TorchAoConfig

model_id = "microsoft/Phi-4-mini-instruct"

from torchao.quantization import Float8DynamicActivationFloat8WeightConfig, PerRow
quant_config = Float8DynamicActivationFloat8WeightConfig(granularity=PerRow())
quantization_config = TorchAoConfig(quant_type=quant_config)
quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16, quantization_config=quantization_config)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 推送至Hub
USER_ID = "您的用户ID"
MODEL_NAME = model_id.split("/")[-1]
save_to = f"{USER_ID}/{MODEL_NAME}-float8dq"
quantized_model.push_to_hub(save_to, safe_serialization=False)
tokenizer.push_to_hub(save_to)

# 手动测试
prompt = "你有意识吗？能和我对话吗？"
messages = [
    {
        "role": "system",
        "content": "",
    },
    {"role": "user", "content": prompt},
]
templated_prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
print("提示词:", prompt)
print("模板化提示词:", templated_prompt)
inputs = tokenizer(
    templated_prompt,
    return_tensors="pt",
).to("cuda")
generated_ids = quantized_model.generate(**inputs, max_new_tokens=128)
output_text = tokenizer.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print("响应:", output_text[0][len(prompt):])

注意：执行push_to_hub前需运行

pip install -U "huggingface_hub[cli]"
huggingface-cli login

并使用具有写入权限的token（从https://huggingface.co/settings/tokens获取）

模型质量

我们使用lm-evaluation-harness评估量化模型质量。 需从源码安装lm-eval： https://github.com/EleutherAI/lm-evaluation-harness#install

基准测试

lm_eval --model hf --model_args pretrained=microsoft/Phi-4-mini-instruct --tasks hellaswag --device cuda:0 --batch_size 8

float8动态激活+权重量化(float8dq)

lm_eval --model hf --model_args pretrained=pytorch/Phi-4-mini-instruct-float8dq --tasks hellaswag --device cuda:0 --batch_size 8

峰值显存占用

结果

显存测试代码

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TorchAoConfig

# 使用"microsoft/Phi-4-mini-instruct"或"pytorch/Phi-4-mini-instruct-float8dq"
model_id = "pytorch/Phi-4-mini-instruct-float8dq"
quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(model_id)

torch.cuda.reset_peak_memory_stats()

prompt = "你有意识吗？能和我对话吗？"
messages = [
    {
        "role": "system",
        "content": "",
    },
    {"role": "user", "content": prompt},
]
templated_prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
print("提示词:", prompt)
print("模板化提示词:", templated_prompt)
inputs = tokenizer(
    templated_prompt,
    return_tensors="pt",
).to("cuda")
generated_ids = quantized_model.generate(**inputs, max_new_tokens=128)
output_text = tokenizer.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print("响应:", output_text[0][len(prompt):])

mem = torch.cuda.max_memory_reserved() / 1e9
print(f"峰值显存占用: {mem:.02f} GB")

模型性能

结果（H100机器）

注：延迟测试结果为秒，服务测试结果为每秒请求数。

测试环境

获取vllm源码：

git clone git@github.com:vllm-project/vllm.git

安装vllm

VLLM_USE_PRECOMPILED=1 pip install --editable .

在vllm根目录下运行测试：

延迟测试

基准测试

python benchmarks/benchmark_latency.py --input-len 256 --output-len 256 --model microsoft/Phi-4-mini-instruct --batch-size 1

float8dq测试

VLLM_DISABLE_COMPILE_CACHE=1 python benchmarks/benchmark_latency.py --input-len 256 --output-len 256 --model pytorch/Phi-4-mini-instruct-float8dq --batch-size 1

服务性能测试

我们测试了服务环境下的吞吐量。

下载sharegpt数据集：

wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json

其他数据集见：https://github.com/vllm-project/vllm/tree/main/benchmarks

注：可通过--num-prompts参数调整测试的提示词数量。

基准测试