CAMeLBERT：面向阿拉伯语自然语言处理任务的预训练模型集

模型描述

CAMeLBERT 是一系列基于阿拉伯语文本预训练的BERT模型集合，包含不同规模与变体版本。我们发布了针对现代标准阿拉伯语（MSA）、阿拉伯语方言（DA）及古典阿拉伯语（CA）的预训练语言模型，以及融合三种变体的混合模型。此外还提供基于MSA变体缩减训练集（1/2、1/4、1/8、1/16比例）的衍生模型。技术细节详见论文《阿拉伯语预训练语言模型中变体、规模与任务类型的交互作用》。

本模型卡描述的是CAMeLBERT-CA（bert-base-arabic-camelbert-ca），该模型基于古典阿拉伯语（CA）数据集预训练。

适用范围

本模型可直接用于掩码语言建模或下一句预测任务，但主要设计目的是在NER、词性标注、情感分析、方言识别及诗歌分类等NLP任务上进行微调。微调代码已发布于GitHub仓库。

使用方法

通过pipeline直接进行掩码预测：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='CAMeL-Lab/bert-base-arabic-camelbert-ca')
>>> unmasker("الهدف من الحياة هو [MASK] .")
[{'sequence': '[CLS] الهدف من الحياة هو الحياة. [SEP]',
  'score': 0.11048116534948349,
  'token': 3696,
  'token_str': 'الحياة'},
 {'sequence': '[CLS] الهدف من الحياة هو الإسلام. [SEP]',
  'score': 0.03481195122003555,
  'token': 4677,
  'token_str': 'الإسلام'},
 {'sequence': '[CLS] الهدف من الحياة هو الموت. [SEP]',
  'score': 0.03402028977870941,
  'token': 4295,
  'token_str': 'الموت'},
 {'sequence': '[CLS] الهدف من الحياة هو العلم. [SEP]',
  'score': 0.027655426412820816,
  'token': 2789,
  'token_str': 'العلم'},
 {'sequence': '[CLS] الهدف من الحياة هو هذا. [SEP]',
  'score': 0.023059621453285217,
  'token': 2085,
  'token_str': 'هذا'}]

注意：需使用transformers>=3.5.0版本，或手动下载模型。

PyTorch特征提取示例：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-ca')
model = AutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-ca')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow示例：

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-ca')
model = TFAutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-ca')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练数据

• 古典阿拉伯语（CA）
  • OpenITI（2020.1.2版）

训练流程

采用Google发布的原始BERT实现，除特别说明外均遵循英文BERT的超参数设置。

预处理

1. 使用原始BERT工具清除无效字符并规范化空格
2. 移除非阿拉伯字符行
3. 通过CAMeL工具集去除变音符号和连接线
4. 基于启发式规则分句
5. 使用HuggingFace tokenizers在全数据集（167GB）上训练30,000词表的WordPiece分词器
6. 保留字母大小写及重音符号

预训练

• 单块v3-8云TPU训练100万步
• 前90,000步batch size为1,024，后续调整为256
• 90%步数采用128token序列长度，10%采用512长度
• 采用全词掩码，重复因子10
• 128长度序列最大预测20词，512长度预测80词
• 随机种子12345，掩码概率15%，短序列概率10%
• 使用Adam优化器（学习率1e-4，β₁=0.9，β₂=0.999），权重衰减0.01，10,000步学习率预热后线性衰减

评估结果

在NER、词性标注、情感分析、方言识别和诗歌分类5类任务（12个数据集）上评估，使用HuggingFace transformers v3.1.0+PyTorch v1.5.1微调，采用F₁分数作为评估指标。

详细结果

平均结果

[1]：变体平均指同语言变体任务组的平均得分

致谢

本研究使用Google TensorFlow研究云（TFRC）提供的Cloud TPU完成。

引用

@inproceedings{inoue-etal-2021-interplay,
    title = "阿拉伯语预训练语言模型中变体、规模与任务类型的交互作用",
    author = "井上豪 和 Alhafni, Bashar 和 Baimukan, Nurpeiis 和 Bouamor, Houda 和 Habash, Nizar",
    booktitle = "第六届阿拉伯自然语言处理研讨会论文集",
    month = "4月",
    year = "2021",
    address = "乌克兰基辅（线上）",
    publisher = "计算语言学协会",
    abstract = "本文通过构建现代标准阿拉伯语、阿拉伯语方言及古典阿拉伯语的预训练模型，探究语言变体、数据规模与微调任务类型的影响。结果表明：微调数据与预训练数据的变体相近性比预训练数据规模更重要，据此我们建立了针对研究任务的优化系统选择模型。",
}