许可证：Apache-2.0
语言：

• 波斯语

任务标签：填充掩码
掩码标记：""

示例输入：

• 文本："توانا بود هر که بود ز دانش دل پیر برنا بود"
• 文本："شهر برلین در کشور واقع شده است."
• 文本："بهنام از خوانندگان مشهور کشور ما است."
• 文本："رضا از بازیگران مشهور کشور ما است."
• 文本："سید ابراهیم رییسی در سال رییس جمهور ایران شد."
• 文本："دیگر امکان ادامه وجود ندارد. باید قرارداد را کنیم."

模型详情

TookaBERT模型是基于波斯语训练的编码器模型家族，包含基础版和大规模版两个版本。这些模型在超过500GB的波斯语数据上进行预训练，涵盖新闻、博客、论坛、书籍等多种主题。它们采用遮蔽语言建模（WWM）目标，并使用两种上下文长度进行预训练。

更多信息请参阅我们在arXiv上发表的论文。

使用方法

您可以直接使用以下代码进行遮蔽语言建模任务：

from transformers import AutoTokenizer, AutoModelForMaskedLM  

tokenizer = AutoTokenizer.from_pretrained("PartAI/TookaBERT-Base")  
model = AutoModelForMaskedLM.from_pretrained("PartAI/TookaBERT-Base")  

# 准备输入  
text = "شهر برلین در کشور <mask> واقع شده است."  
encoded_input = tokenizer(text, return_tensors='pt')  

# 前向传播  
output = model(**encoded_input)  

也可以使用推理管道如下：

from transformers import pipeline  

inference_pipeline = pipeline('fill-mask', model="PartAI/TookaBERT-Base")  
inference_pipeline("شهر برلین در کشور <mask> واقع شده است.")  

您可以使用该模型在您的数据集上进行微调，以适应您的任务需求：

• DeepSentiPers（情感分析）
• ParsiNLU - 多项选择（多选任务）

评估

TookaBERT模型在多种自然语言处理下游任务上进行了评估，包括情感分析（SA）、文本分类、多项选择、问答和命名实体识别（NER）。以下是一些关键性能结果：

*注：由于微调过程中的随机性，差异小于1%的结果被视为相近。

联系我们

如果您对该模型有任何疑问，可以通过Hugging Face上的社区与我们联系。