语言: 阿拉伯语
标签:

• pytorch
• tf
• QARiB
• qarib
  数据集:
• arabic_billion_words
• open_subtitles
• twitter
  评估指标:
• f1
  小部件示例:
• 文本: " شو عندكم يا [MASK] ."

QARiB：QCRI阿拉伯语及方言BERT模型

关于QARiB

QCRI阿拉伯语及方言BERT模型（QARiB）基于约4.2亿条推文和1.8亿条文本句子训练而成。推文数据通过Twitter API并使用语言过滤器lang:ar采集，文本数据则整合自Arabic GigaWord、Abulkhair阿拉伯语语料库及OPUS。

QARiB在阿拉伯语中意为"小船"。

模型与参数

• 数据规模: 140亿词元
• 词表大小: 6.4万
• 训练迭代次数: 1000万次
• 网络层数: 12层

训练QARiB

详见训练文档

使用QARiB

基础模型可直接用于掩码语言建模或下一句预测，但更推荐在下游任务中进行微调。可通过模型中心查找感兴趣任务的微调版本，详见使用指南

使用示例

通过pipeline进行掩码预测:

>>>from transformers import pipeline  
>>>fill_mask = pipeline("fill-mask", model="./models/data60gb_86k")  

>>> fill_mask("شو عندكم يا [MASK]")  
[{'sequence': '[CLS] شو عندكم يا عرب [SEP]', 'score': 0.0990147516131401, 'token': 2355, 'token_str': 'عرب'},  
...（其他预测结果）]  

评估结果

模型下载

Huggingface平台: https://huggingface.co/qarib/bert-base-qarib

联系人

Ahmed Abdelali, Sabit Hassan, Hamdy Mubarak, Kareem Darwish, Younes Samih

文献引用

@article{abdelali2021pretraining,  
    title={Pre-Training BERT on Arabic Tweets: Practical Considerations},  
    author={Ahmed Abdelali and Sabit Hassan and Hamdy Mubarak and Kareem Darwish and Younes Samih},  
    year={2021},  
    eprint={2102.10684},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}