阿拉伯模型 AraBertMo_base_V10

语言: 阿拉伯语
标签: 填充掩码
数据集: OSCAR
示例:

• 文本: " السلام عليكم ورحمة[MASK] وبركاتة"
• 文本: " اهلا وسهلا بكم في [MASK] من سيربح المليون"
• 文本: " مرحبا بك عزيزي الزائر [MASK] موقعنا "

阿拉伯语BERT模型

AraBERTMo 是基于谷歌BERT架构的阿拉伯语预训练语言模型。
AraBERTMo_base采用与BERT-Base相同的配置。
目前AraBERTMo_base提供10种新变体。
所有模型均可在HuggingFace平台的Ebtihal主页获取。
模型检查点支持PyTorch格式。

预训练语料

AraBertMo_base_V10模型的预训练数据约300万词：

• OSCAR阿拉伯语版本"unshuffled_deduplicated_ar"

训练结果

该模型取得以下表现：

加载预训练模型

安装torch或tensorflow及Huggingface库transformers后即可使用。通过以下方式直接调用：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Ebtihal/AraBertMo_base_V10")
model = AutoModelForMaskedLM.from_pretrained("Ebtihal/AraBertMo_base_V10")

本模型为机构硕士学位研究项目成果：

• 库法大学
• 计算机科学与数学学院
• 计算机科学系