许可证: mit
数据集:

• sinarashidi/alpaca-persian
  语言:
• 英语
• 波斯语
  库名称: transformers

Maral 7B Alpha 1 模型

Maral是什么？

Maral 是一款专注于波斯语的大型语言模型新作。该模型基于Mistral架构，并在_波斯语Alpaca数据集_上训练而成。作为波斯语AI领域的少数探索之一，它旨在为我们的语言注入人工智能时代的新活力。

得益于Mistral基础，该模型同样能流畅生成英语回答。

"Maral"的含义？

Maral是波斯语中对马鹿的称呼，这种鹿科动物原生于伊朗。命名缘由有三：其一呼应环境保护理念，其二作为伊朗团队开发的波斯语大模型，理应采用本土化命名。

推理使用

提示词格式

模型需采用_Guanaco_格式：

### Human: <提示>  
### Assistant: <回答>  

代码示例：

prompt = "1996年美国总统是谁？"  
prompt = f"### Human:{prompt}\n### Assistant:"  

4位量化版本

我们提供了4位量化的PEFT适配器此处获取，配套Google Colab笔记本可供参考。

环境安装

pip install transformers accelerate bitsandbytes
注：bitsandbytes仅8位版本需要

大显存GPU推理（如A100）

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig  
import torch  

model_name_or_id = "MaralGPT/Maral-7B-alpha-1"  

model = AutoModelForCausalLM.from_pretrained(model_name_or_id, torch_dtype=torch.bfloat16, device_map="auto")  
tokenizer = AutoTokenizer.from_pretrained(model_name_or_id)  

prompt = "1996年美国总统是谁？"  
prompt = f"### Human:{prompt}\n### Assistant:"  

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")  

generation_config = GenerationConfig(  
    do_sample=True,  
    top_k=1,  
    temperature=0.5,  
    max_new_tokens=300,  
    pad_token_id=tokenizer.eos_token_id  
)  

outputs = model.generate(**inputs, generation_config=generation_config)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True))  

小显存设备推理（消费级硬件/免费Colab）

关键差异点：

• 确保安装bitsandbytes
• 模型加载参数改为load_in_8bit=True
• 免费Colab可能内存不足，建议添加low_cpu_mem_usage=True参数

已知问题

1. 波斯语文法达GPT-3.5水平，但存在严重幻觉现象（可通过DPO训练优化）
2. 处理波斯语推理问题时可能产生错误信息
3. 模型体积庞大，后续可能提供GPTQ/GGUF量化版本
4. 因未自定义终止符，可能生成冗余内容（建议温度参数设为0.5-0.7）

开发团队

• Muhammadreza Haghiri (个人网站 | GitHub | LinkedIn)
• Mahi Mohrechi (作品集 | GitHub | LinkedIn)

特别鸣谢

• Mistral团队提供卓越的开源基座模型
• _Sina Rashidi_完成Alpaca数据集的波斯语翻译
• Jupyto团队提供算力基础设施