language: ar datasets:

• oscar
• wikipedia

阿拉伯语BERT迷你模型

预训练的阿拉伯语BERT迷你语言模型

若在研究中使用了本模型，请引用以下论文：

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL}在SemEval-2020任务12中的表现：基于BERT-CNN的社交媒体冒犯性言论识别",
    author = "Safaya, Ali  and
      Abdullatif, Moutasem  and
      Yuret, Deniz",
    booktitle = "第十四届语义评估研讨会论文集",
    month = dec,
    year = "2020",
    address = "巴塞罗那（线上）",
    publisher = "国际计算语言学委员会",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

预训练语料

arabic-bert-mini模型的预训练数据包含约82亿词：

• OSCAR阿拉伯语版（从Common Crawl过滤所得）
• 最新的阿拉伯语维基百科数据转储 以及其他阿拉伯语资源，总计约95GB文本。

关于训练数据的说明：

• 最终版语料保留了句子中的非阿拉伯语词汇，因其可能影响NER等任务效果
• 虽然预处理时将非阿拉伯字符转为小写，但由于阿拉伯字符本身无大小写之分，本模型不区分大小写版本
• 语料和词汇集不仅包含现代标准阿拉伯语，也涵盖部分方言阿拉伯语

预训练细节

• 使用谷歌BERT官方代码库在TFRC提供的免费TPU v3-8上完成训练
• 训练参数调整：采用128的批大小进行300万步训练（原版BERT为256批大小训练100万步）

加载预训练模型

通过安装torch或tensorflow及Huggingface的transformers库即可使用：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-mini-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-mini-arabic")

性能表现

详细性能指标及其他查询请参考Arabic-BERT项目

致谢

感谢谷歌提供免费TPU资源，以及Huggingface团队在服务器托管方面的支持 😊