语言: 波斯语
许可证: Apache-2.0
标签:

• 波斯语
• 波斯文

GPT2-波斯语版

bolbolzaban/gpt2-persian 是一个基于 GPT2 架构的语言模型，其超参数设置与标准 gpt2-medium 类似，但存在以下差异：

1. 为降低训练成本，上下文长度从 1024 个子词缩减至 256 个子词
2. 采用 Google SentencePiece 分词器替代原有的 BPE 分词器
3. 训练数据集仅包含波斯语文本，所有非波斯文字符均被替换为特殊标记（如 [LAT]、[URL]、[NUM]）

更多技术细节请参阅这篇博客文章。
您可以通过HuggingFace平台或Bolbolzaban官网直接体验模型。

使用方法

可通过以下代码快速调用文本生成管道：

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel
tokenizer = AutoTokenizer.from_pretrained('bolbolzaban/gpt2-persian')
model = GPT2LMHeadModel.from_pretrained('bolbolzaban/gpt2-persian')
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':256})
sample = generator('در یک اتفاق شگفت انگیز، پژوهشگران')

若使用 TensorFlow 框架，请将 GPT2LMHeadModel 替换为 TFGPT2LMHeadModel。

微调指南

基础微调示例详见GitHub仓库。

特殊标记说明

本模型专为波斯诗歌研究设计，训练时所有英文单词和数字均被替换为特殊标记，仅保留标准波斯字母。例如：
原始文本：اگر آیفون یا آیپد شما دارای سیستم عامل iOS 14.3 یا iPadOS 14.3 یا نسخه‌های جدیدتر باشد
训练文本：اگر آیفون یا آیپد شما دارای سیستم عامل [LAT] [NUM] یا [LAT] [NUM] یا نسخه‌های جدیدتر باشد

建议使用Hazm等库对输入文本进行规范化处理，确保仅包含波斯字符。

古典诗歌输入格式：

• 每行诗句开头添加 [BOM]（诗行起始标记）
• 每个对句（بیت）结尾添加 [EOS]（语句结束标记）

示例链接：
[BOM] توانا بود
[BOM] توانا بود هر که دانا بود [BOM]
[BOM] توانا بود هر که دانا بود [BOM] ز دانش دل پیر
[BOM] توانا بود هر که دانا بود [BOM] ز دانش دل پیربرنا بود [EOS]

波斯古典诗歌结构解析详见系列博客。

致谢

本项目获得 Google TensorFlow Research Cloud (TFRC) 提供的 Cloud TPU 算力支持。

引用规范

在学术或商业应用中使用本模型时，请注明引用来源为"bolbolzaban.com"网站。

联系方式

如有疑问或需要技术支持，可通过LinkedIn或Telegram联系开发者。

欢迎在Twitter、Telegram或Instagram关注Bolbolzaban项目动态。