语言: 阿拉伯语
标签:

• pytorch
• tf
• qarib
• qarib60_1790k
  数据集:
• arabic_billion_words
• open_subtitles
• twitter
  评估指标:
• f1
  示例输入:
• text: " شو عندكم يا [MASK] ."

QARiB：QCRI阿拉伯语及方言BERT模型

关于QARiB

QCRI阿拉伯语及方言BERT（QARiB）模型基于约4.2亿条推文和1.8亿条文本句子训练而成。
推文数据通过Twitter API采集并设置语言过滤器lang:ar。文本数据整合自Arabic GigaWord、Abulkhair阿拉伯语语料库及OPUS。

bert-base-qarib60_1970k

• 数据规模: 60GB
• 训练迭代次数: 197万次
• 损失值: 1.5708898

训练过程

模型使用谷歌原版TensorFlow代码在Google Cloud TPU v2上完成训练，通过Google云存储桶实现训练数据与模型的持久化存储。详见训练文档

使用指南

基础模型可用于掩码语言建模或下一句预测，但更推荐在下游任务中微调使用。模型库提供针对特定任务的微调版本，详见使用文档

调用示例

通过pipeline进行掩码预测：

>>>from transformers import pipeline  
>>>fill_mask = pipeline("fill-mask", model="./models/data60gb_86k")  

>>> fill_mask("شو عندكم يا [MASK]")  
[{'sequence': '[CLS] شو عندكم يا عرب [SEP]', 'score': 0.0990147516131401, 'token': 2355, 'token_str': 'عرب'},  
...（其余预测结果省略）...]  

训练配置

使用八核Google Cloud TPU v2进行训练，通过云存储桶管理数据与模型。

评估表现

在五项NLP下游任务中表现优异：

• 情感分析
• 情绪检测
• 命名实体识别
• 冒犯性语言检测
• 方言识别
  评估结果全面超越多语言BERT/AraBERT/ArabicBERT。

模型下载

Huggingface资源库: https://huggingface.co/qarib/qarib/bert-base-qarib60_1970k

联系方式

Ahmed Abdelali, Sabit Hassan, Hamdy Mubarak, Kareem Darwish, Younes Samih

文献引用

@article{abdelali2021pretraining,  
    title={Pre-Training BERT on Arabic Tweets: Practical Considerations},  
    author={Ahmed Abdelali and Sabit Hassan and Hamdy Mubarak and Kareem Darwish and Younes Samih},  
    year={2021},  
    eprint={2102.10684},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}