language: ar datasets:

• oscar
• wikipedia

阿拉伯语BERT大型模型

针对阿拉伯语的预训练BERT大型语言模型

如果您在研究中使用了该模型，请引用以下论文：

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL}在{S}em{E}val-2020任务12中的表现：基于{BERT}-{CNN}的社交媒体冒犯言论识别",
    author = "Safaya, Ali 和
      Abdullatif, Moutasem 与
      Yuret, Deniz",
    booktitle = "第十四届语义评估研讨会论文集",
    month = dec,
    year = "2020",
    address = "巴塞罗那（线上）",
    publisher = "国际计算语言学委员会",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

预训练语料

arabic-bert-large模型的预训练数据包含约82亿词：

• OSCAR阿拉伯语版（从Common Crawl过滤所得）
• 最新的阿拉伯语维基百科数据转储

以及其他阿拉伯语资源，总计约95GB文本。

关于训练数据的说明：

• 最终版语料包含部分非阿拉伯语词汇，考虑到如命名实体识别等任务需求，我们保留了这些句子内嵌词汇。
• 虽然预处理阶段已将非阿拉伯字符转为小写，但由于阿拉伯字符本身无大小写区分，故本模型不区分大小写版本。
• 语料和词汇集不仅限于现代标准阿拉伯语，还包含部分方言阿拉伯语。

预训练细节

• 本模型使用谷歌BERT官方代码库在TFRC提供的免费TPU v3-8单卡上完成训练。
• 训练参数在原始BERT基础上有所调整：总训练步数300万（batch size=128），而非原设定的100万步（batch size=256）。

加载预训练模型

通过安装torch或tensorflow及Huggingface的transformers库即可使用。直接调用方式如下：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-large-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-large-arabic")

性能表现

关于模型性能的详细数据或其他咨询，请参考Arabic-BERT项目。

致谢

感谢谷歌提供免费TPU资源支持训练过程，同时感谢Huggingface团队在服务器上托管本模型😊