语言:

• 阿拉伯语 许可证: apache-2.0 标签:
• 阿拉伯语
• 方言
• 埃及方言
• 海湾方言
• 黎凡特方言
• 古典阿拉伯语
• 现代标准阿拉伯语
• MSA

小组件:

• 文本: "生活的目标是[MASK]。"

CAMeLBERT：面向阿拉伯语NLP任务的预训练模型集

模型描述

CAMeLBERT 是一系列基于阿拉伯语文本预训练的不同规模和变体的BERT模型集合。我们发布了针对现代标准阿拉伯语（MSA）、方言阿拉伯语（DA）和古典阿拉伯语（CA）的预训练语言模型，以及一个混合这三种变体的模型。此外，我们还提供了基于MSA变体缩减规模（半、四分之一、八分之一和十六分之一）的额外模型。详细信息见论文《阿拉伯语预训练语言模型中变体、规模与任务类型的交互作用》。

本模型卡描述的是CAMeLBERT-Mix（bert-base-arabic-camelbert-mix），一个在MSA、DA和CA混合变体上预训练的模型。

预期用途

您可以将发布的模型用于掩码语言建模或下一句预测。但主要目的是针对NER、词性标注、情感分析、方言识别和诗歌分类等NLP任务进行微调。我们在此处发布了微调代码。

使用方法

您可以直接使用管道进行掩码语言建模：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='CAMeL-Lab/bert-base-arabic-camelbert-mix')
>>> unmasker("生活的目标是[MASK]。")
[{'sequence': '[CLS] 生活的目标是成功。[SEP]',
  'score': 0.10861027985811234,
  'token': 6232,
  'token_str': '成功'},
 {'sequence': '[CLS] 生活的目标是..[SEP]',
  'score': 0.07626965641975403,
  'token': 18,
  'token_str': '.'},
 {'sequence': '[CLS] 生活的目标是生活。[SEP]',
  'score': 0.05131986364722252,
  'token': 3696,
  'token_str': '生活'},
 {'sequence': '[CLS] 生活的目标是死亡。[SEP]',
  'score': 0.03734956309199333,
  'token': 4295,
  'token_str': '死亡'},
 {'sequence': '[CLS] 生活的目标是工作。[SEP]',
  'score': 0.027189988642930984,
  'token': 2854,
  'token_str': '工作'}]

注意：下载我们的模型需要transformers>=3.5.0。否则，您可以手动下载模型。

以下是在PyTorch中获取给定文本特征的方法：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
model = AutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
text = "你好，世界。"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

在TensorFlow中：

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
model = TFAutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
text = "你好，世界。"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练数据

• MSA（现代标准阿拉伯语）
  • 阿拉伯语十亿词第五版
  • Abu El-Khair语料库
  • OSIAN语料库
  • 阿拉伯语维基百科
  • 阿拉伯语OSCAR语料库未打乱版本
• DA（方言阿拉伯语）
  • 我们论文中描述的方言阿拉伯语数据集
• CA（古典阿拉伯语）
  • OpenITI（2020.1.2版）

训练过程

我们使用Google的原始实现进行预训练。除非另有说明，否则我们遵循原始英文BERT模型的超参数设置。

预处理

• 从每个语料库提取原始文本后，我们应用以下预处理步骤。
• 首先使用原始BERT实现提供的工具去除无效字符并规范化空格。
• 同时移除非阿拉伯字符的行。
• 使用CAMeL Tools去除变音符号和连字符。
• 最后，基于启发式方法将每行分割成句子。
• 使用HuggingFace的tokenizers在整个数据集（167GB文本）上训练一个词汇量为30,000的WordPiece分词器。
• 不进行字母小写化或去除重音符号。

预训练

• 模型在单个云TPU（v3-8）上共训练100万步。
• 前90,000步使用1,024的批量大小，其余使用256。
• 序列长度限制为128个标记（占90%步数）和512（占10%）。
• 使用全词掩码和10倍的重复因子。
• 对于最大序列长度为128标记的数据集，每序列最大预测数设为20；512标记的数据集设为80。
• 使用随机种子12345，掩码语言模型概率0.15，短序列概率0.1。
• 优化器为Adam，学习率1e-4，\(\beta_{1} = 0.9\)和\(\beta_{2} = 0.999\)，权重衰减0.01，前10,000步学习率预热，之后线性衰减。

评估结果

• 我们在五个NLP任务上评估预训练语言模型：NER、词性标注、情感分析、方言识别和诗歌分类。
• 使用12个数据集进行微调和评估。
• 使用Hugging Face的transformers微调CAMeLBERT模型。
• 使用transformers v3.1.0和PyTorch v1.5.1。
• 微调时在最后隐藏状态添加全连接线性层。
• 所有任务使用\(F_{1}\)分数作为指标。
• 微调代码见此处。

结果

结果（平均）