语言: 阿拉伯语
数据集:

• oscar
• 维基百科

阿拉伯语BERT中型模型

预训练的阿拉伯语BERT中型语言模型

若在您的工作中使用此模型，请引用以下论文:

@inproceedings{safaya-etal-2020-kuisail,
    title = "{KUISAIL}在SemEval-2020任务12中的表现：基于BERT-CNN的社交媒体冒犯性言论识别",
    author = "Safaya, Ali 和 Abdullatif, Moutasem 以及 Yuret, Deniz",
    booktitle = "第十四届语义评估研讨会论文集",
    month = "12月",
    year = "2020",
    address = "巴塞罗那（线上）",
    publisher = "国际计算语言学委员会",
    url = "https://www.aclweb.org/anthology/2020.semeval-1.271",
    pages = "2054--2059",
}

预训练语料

arabic-bert-medium模型基于约82亿词进行预训练：

• OSCAR阿拉伯语版（从Common Crawl过滤所得）
• 最新的阿拉伯语维基百科数据快照

以及其他总计约95GB的阿拉伯语文本资源。

关于训练数据的说明：

• 最终语料版本包含部分非阿拉伯语词汇（未从句子中删除，以免影响NER等任务效果）
• 虽然预处理时将非阿拉伯字符转为小写，但由于阿拉伯字符本身无大小写区分，故模型不区分大小写版本
• 语料和词汇集不仅包含现代标准阿拉伯语，也包含部分方言阿拉伯语

预训练细节

• 使用谷歌BERT官方代码库在TFRC提供的免费TPU v3-8上训练
• 训练参数调整：总步数300万（batch size=128），而非原版BERT的100万步（batch size=256）

加载预训练模型

安装torch或tensorflow及Huggingface库transformers后，可通过以下方式直接调用：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-medium-arabic")
model = AutoModelForMaskedLM.from_pretrained("asafaya/bert-medium-arabic")

性能表现

更多模型性能细节请参阅Arabic-BERT项目

致谢

感谢谷歌提供免费TPU资源，以及Huggingface团队托管模型 😊