语言: 阿拉伯语
标签: 填充掩码
数据集: OSCAR
小部件示例:

• 文本: " السلام عليكم ورحمة[MASK] وبركاتة"
• 文本: " اهلا وسهلا بكم في [MASK] من سيربح المليون"
• 文本: " مرحبا بك عزيزي الزائر [MASK] موقعنا "

阿拉伯语BERT模型

AraBERTMo 是一个基于谷歌BERT架构的阿拉伯语预训练语言模型。
AraBERTMo_base版本采用与BERT-Base相同的配置。
目前AraBERTMo_base提供10种新变体。
所有模型均可在HuggingFace平台的Ebtihal主页获取，支持PyTorch格式的检查点文件。

预训练语料

AraBertMo_base_V2模型的训练数据约300万词，来源包括：

• OSCAR阿拉伯语版本"unshuffled_deduplicated_ar"语料库

训练结果

该模型取得以下性能指标：

加载预训练模型

安装torch或tensorflow以及Huggingface的transformers库后，可通过以下方式调用：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V2")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V2")

本模型为硕士学位研究项目成果，由以下机构支持：

• 库法大学
• 计算机科学与数学学院
• 计算机科学系