库名称：transformers 基础模型：

• microsoft/phi-4

环境要求

pip install -U transformers optimum auto-gptq

Transformers推理示例

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 根据CUDA支持情况选择计算精度
dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
device = "auto"  # 自动选择设备

# 加载GPTQ量化版的phi-4模型
model_name = "jakiAJK/microsoft-phi-4_GPTQ-int4"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, 
                                           device_map=device, 
                                           trust_remote_code=True, 
                                           torch_dtype=dtype)

model.eval()  # 设置为评估模式

# 构建对话模板
chat = [
    { "role": "user", "content": "列举任意5个国家的首都。" },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

# 将输入转换为token并送至GPU
input_tokens = tokenizer(chat, return_tensors="pt").to('cuda')

# 生成文本（最大新增100个token）
output = model.generate(**input_tokens, 
                       max_new_tokens=100)

# 解码输出
output = tokenizer.batch_decode(output)

print(output)