🚀 Transformers库项目

本项目基于transformers库，使用deepseek-ai/DeepSeek-R1-Distill-Qwen-7B作为基础模型，提供了便捷的模型推理功能。

🚀 快速开始

环境要求

确保你已经安装了必要的库，可以使用以下命令进行安装：

pip install -U transformers autoawq

💻 使用示例

基础用法

以下是使用transformers库进行模型推理的示例代码：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
device = "auto"

model_name = "jakiAJK/DeepSeek-R1-Distill-Qwen-7B_AWQ"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map= device, trust_remote_code= True, torch_dtype= dtype)

model.eval()

chat = [
    { "role": "user", "content": "List any 5 country capitals." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

input_tokens = tokenizer(chat, return_tensors="pt").to('cuda')

output = model.generate(**input_tokens, 
                        max_new_tokens=100)

output = tokenizer.batch_decode(output)

print(output)

以上代码展示了如何使用预训练模型进行文本生成的基本流程，包括加载模型和分词器、准备输入数据、生成输出并解码。