language: ar datasets:

• oscar
• wikipedia

阿拉伯语BERT模型

预训练的阿拉伯语BERT基础语言模型

如果您在研究中使用了本模型，请引用以下论文：

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL} at {S}em{E}val-2020 Task 12: {BERT}-{CNN} for Offensive Speech Identification in Social Media",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "Proceedings of the Fourteenth Workshop on Semantic Evaluation",
    month = dec,
    year = "2020",
    address = "Barcelona (online)",
    publisher = "International Committee for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

预训练语料

arabic-bert-base模型的预训练数据包含约82亿词：

• OSCAR阿拉伯语版（源自Common Crawl并经过过滤）
• 最新阿拉伯语维基百科数据转储

以及其他阿拉伯语资源，总计约95GB文本。

关于训练数据的说明：

• 最终版语料保留了句子中的非阿拉伯语词汇，因其可能影响NER等任务效果
• 虽然预处理时将非阿拉伯字符转为小写，但由于阿拉伯字符本身无大小写区分，故本模型不区分大小写版本
• 语料和词汇集不仅包含现代标准阿拉伯语，也涵盖部分方言阿拉伯语

预训练细节

• 使用谷歌BERT官方代码库在TFRC提供的免费TPU v3-8上完成训练
• 训练参数调整：采用128的批大小进行300万步训练（原版BERT为256批大小/100万步）

加载预训练模型

安装torch或tensorflow及Huggingface的transformers库后，可通过以下方式直接调用：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-base-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-base-arabic")

性能表现

更多模型性能细节及其他查询，请参阅Arabic-BERT项目

致谢

感谢谷歌提供免费TPU资源支持训练过程，感谢Huggingface团队托管本模型 😊