library_name: transformers language: fa tags:

• 波斯语
• 文本生成
• qlora
• 4位量化 license: apache-2.0 datasets:
• mshojaei77/Persian_sft metrics:
• bleu base_model:
• google/gemma-3-4b-it

Gemma 3-4B 波斯语版 (v0)

mshojaei77/gemma-3-4b-persian-v0是基于Gemma 3架构的波斯语专用模型。该模型采用QLoRA进行4位量化，在生成和理解波斯语文本的同时降低计算开销。除文本生成外，该模型还保留了基础模型继承的图像输入能力。

使用说明

本模型兼容Hugging Face Transformers库和Ollama框架。

通过Ollama运行

ollama run hf.co/mshojaei77/gemma-3-4b-persian-v0:Q8_0

通过Hugging Face Transformers运行

1. 安装依赖库:

   pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate
   

2. 加载模型与分词器:

   from transformers import AutoModelForCausalLM, AutoTokenizer
   import torch
   
   model_id = "mshojaei77/gemma-3-4b-persian-v0"
   
   model = AutoModelForCausalLM.from_pretrained(
       model_id,
       device_map="auto",  # 如有GPU可用可指定"cuda"
       torch_dtype=torch.bfloat16,  # 也可选用torch.float16
   )
   tokenizer = AutoTokenizer.from_pretrained(model_id)
   
   messages = [
       {
           "role": "user",
           "content": "توماس جفرسون کیست؟"
       }
   ]
   inputs = tokenizer.apply_chat_template(
       messages,
       add_generation_prompt=True, tokenize=True, return_tensors="pt"
   ).to(model.device)
   
   outputs = model.generate(**inputs, max_new_tokens=200)
   print(tokenizer.decode(outputs[0], skip_special_tokens=True))
   

训练数据与微调

训练数据集

本模型使用mshojaei77/Persian_sft数据集进行微调，该数据集包含约681,000条波斯语文本，重点关注指令跟随和对话交互。数据集特点包括：

微调配置

• 方法: 采用QLoRA（4位量化）的监督式微调(SFT)
• 硬件: 单张T4 GPU
• 软件: 使用Hugging Face Transformers框架，配合peft实现QLoRA，bitsandbytes实现量化
• 权衡: 相比全精度模型，以部分精度为代价降低内存占用

评估指标

[即将发布]

使用注意事项与限制

适用场景

• 问答系统: 准确回答波斯语查询
• 指令执行: 解析并执行波斯语文本指令
• 文本生成: 生成流畅的语境感知波斯语内容
• 对话式AI: 集成至聊天机器人和虚拟助手
• 图像处理: 保留基础模型的图像输入能力

已知限制

• 量化影响: 4位量化可能降低输出精度，偶现不连贯响应
• 评估缺失: 当前缺少针对此变体的全面评估指标
• 偏见风险: 可能反映原始Gemma 3数据和Persian_sft数据集中的偏见
• 幻觉现象: 与其他大语言模型类似，存在生成看似合理但错误信息的风险
• 安全性: 未进行安全调优，敏感场景部署需特别谨慎

维护与未来计划

本模型处于积极维护状态，未来更新可能包括：

• 补充评估指标与基准测试
• 增强安全调优与偏见缓解策略
• 扩展文档和使用示例
• 根据社区反馈进行迭代改进

如有疑问、建议或问题，欢迎联系开发者。