库名称：transformers
语言：波斯语
标签：

• 波斯语
• qlora
• 4位量化
  许可证：gemma
  数据集：
• mshojaei77/Persian_sft
  评估指标：
• bleu
  基础模型：
• google/gemma-3-4b-it

zhaav-gemma3-4B

alifzl/zhaav-gemma3-4B_q8_0.gguf 模型是一个基于 Gemma 3 架构微调的波斯语专用模型。通过使用 QLoRA 的 4 位量化技术，它在降低计算需求的同时，仍能高效生成和理解波斯语文本，因此适合在没有 GPU 的普通硬件上运行。

使用方法

该模型兼容 Hugging Face Transformers 库和 Ollama。

使用 Ollama 运行

ollama run hf.co/alifzl/zhaav-gemma3-4B:Q8_0  

使用 Hugging Face Transformers 运行

1. 安装依赖项：

   pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate  
   

2. 加载模型和分词器：

   from transformers import AutoModelForCausalLM, AutoTokenizer  
   import torch  
   
   model_id = "alifzl/zhaav-gemma3-4B_q8_0.gguf"  
   
   model = AutoModelForCausalLM.from_pretrained(  
       model_id,  
       device_map="auto",  # 如果有 GPU，可使用 "cuda"  
       torch_dtype=torch.bfloat16,  # 或使用 torch.float16  
   )  
   tokenizer = AutoTokenizer.from_pretrained(model_id)  
   
   messages = [  
       {  
           "role": "user",  
           "content": "تفاوت قهوه موکا با آمریکانو چیه؟"  
       }  
   ]  
   inputs = tokenizer.apply_chat_template(  
       messages,  
       add_generation_prompt=True, tokenize=True, return_tensors="pt"  
   ).to(model.device)  
   
   outputs = model.generate(**inputs, max_new_tokens=200)  
   print(tokenizer.decode(outputs[0], skip_special_tokens=True))  
   

训练数据与微调

训练数据集

微调使用了 mshojaei77/Persian_sft 数据集，该数据集包含约 68 万条波斯语文本，专注于指令遵循和对话交互。

微调

• 方法： 使用 QLoRA（4 位量化）进行监督微调（SFT）
• 硬件： 一块 T4 GPU
• 软件： 使用 Hugging Face Transformers，并借助 peft 实现 QLoRA，bitsandbytes 实现量化

评估结果

未来计划

• 增加更多评估指标和基准测试
• 扩展文档和使用示例