语言:

• 阿拉伯语 许可证: apache-2.0 小部件:
• 文本: "生活的目标是[MASK]。"

CAMeLBERT：面向阿拉伯语NLP任务的预训练模型集

模型描述

CAMeLBERT 是一系列基于阿拉伯语文本预训练的不同规模和变体的BERT模型集合。我们发布了针对现代标准阿拉伯语（MSA）、方言阿拉伯语（DA）和古典阿拉伯语（CA）的预训练语言模型，以及一个混合三种变体的模型。此外，我们还提供了基于MSA变体缩减数据集（半量、四分之一、八分之一及十六分之一）预训练的额外模型。详细信息见论文《阿拉伯语预训练语言模型中变体、规模与任务类型的交互作用》。

本模型卡介绍的是CAMeLBERT-MSA (bert-base-arabic-camelbert-msa)，即在完整MSA数据集上预训练的模型。

预期用途

您可将发布的模型用于掩码语言建模或下一句预测任务。但主要设计目的是针对NER、词性标注、情感分析、方言识别和诗歌分类等NLP任务进行微调。微调代码发布于此处。

使用方法

可直接通过管道进行掩码语言建模：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='CAMeL-Lab/bert-base-arabic-camelbert-msa')
>>> unmasker("生活的目标是[MASK]。")
[{'sequence': '[CLS] 生活的目标是工作。[SEP]',
  'score': 0.08507660031318665,
  'token': 2854,
  'token_str': 'العمل'},
 {'sequence': '[CLS] 生活的目标是生活。[SEP]',
  'score': 0.058905381709337234,
  'token': 3696, 'token_str': 'الحياة'},
 {'sequence': '[CLS] 生活的目标是成功。[SEP]',
  'score': 0.04660581797361374, 'token': 6232,
  'token_str': 'النجاح'},
 {'sequence': '[CLS] 生活的目标是盈利。[SEP]',
  'score': 0.04156001657247543,
  'token': 12413, 'token_str': 'الربح'},
 {'sequence': '[CLS] 生活的目标是爱。[SEP]',
  'score': 0.03534102067351341,
  'token': 3088,
  'token_str': 'الحب'}]

注意：下载模型需transformers>=3.5.0，或手动下载。

PyTorch中获取文本特征的示例：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
model = AutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
text = "你好世界。"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow示例：

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
model = TFAutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-msa')
text = "你好世界。"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练数据

• 现代标准阿拉伯语（MSA）
  • 阿拉伯语十亿词库第五版
  • Abu El-Khair语料库
  • OSIAN语料库
  • 阿拉伯语维基百科
  • 阿拉伯语OSCAR语料库未打乱版本

训练流程

采用Google原始实现进行预训练，除特别说明外，超参数设置与英文BERT原始模型一致。

预处理

• 从各语料库提取原始文本后，执行以下预处理：
• 使用原始BERT工具清除无效字符并规范化空格
• 移除不含阿拉伯字符的行
• 通过CAMeL工具去除变音符号和连接符
• 最后基于启发式规则进行分句
• 使用HuggingFace tokenizers在全数据集（167GB文本）上训练词汇量30,000的WordPiece分词器
• 保留字母大小写和重音符号

预训练

• 在单块云端TPU（v3-8）上完成总计100万步训练
• 前90,000步批量大小为1,024，后续调整为256
• 90%步数的序列长度限制为128词元，剩余10%为512词元
• 采用全词掩码和10倍重复因子
• 128词元最大序列的每序列预测数设为20，512词元设为80
• 随机种子12345，掩码语言模型概率0.15，短序列概率0.1
• 使用Adam优化器（学习率1e-4，\(\beta_{1} = 0.9\)，\(\beta_{2} = 0.999\)），权重衰减0.01，前10,000步学习率预热后线性衰减

评估结果

• 在NER、词性标注、情感分析、方言识别和诗歌分类五类任务上评估预训练模型
• 使用12个数据集进行微调和评估
• 采用Hugging Face transformers实现微调（v3.1.0 + PyTorch v1.5.1）
• 微调时在最后隐藏层添加全连接线性层
• 所有任务均采用\(F_{1}\)分数作为指标
• 微调代码见GitHub仓库

结果数据表

（此处保留原表格结构，仅翻译表头及注释）

平均结果

[1]: 变体加权平均指同语言变体任务组的平均值。

致谢

本研究由Google TensorFlow研究云（TFRC）提供的Cloud TPU支持。

引用

@inproceedings{