语言: 阿拉伯语
标签:

• pytorch
• tensorflow
• bert-base-qarib60_860k
• qarib
  数据集:
• 阿拉伯语十亿词库
• 开源字幕
• 推特
  评估指标:
• F1分数

小部件示例:

• 文本: "你们有什么呀[MASK]。"

QARiB：卡塔尔计算研究所阿拉伯语及方言BERT模型

关于QARiB

卡塔尔计算研究所阿拉伯语及方言BERT（QARiB）模型基于约4.2亿条推文和1.8亿条文本句子训练而成。推文数据通过Twitter API采集并设置语言过滤器lang:ar，文本数据整合自阿拉伯语十亿词库、Abulkhair阿拉伯语语料库及OPUS多语语料库。

bert-base-qarib60_860k版本

• 数据规模: 60GB
• 训练迭代次数: 86万次
• 损失值: 2.2454472

训练过程

模型使用谷歌原生TensorFlow代码在Google Cloud TPU v2上完成训练，通过Google云存储桶实现训练数据与模型的持久化存储。详见训练文档

使用指南

基础模型可直接用于掩码语言建模或下一句预测，但更推荐在下游任务中进行微调。模型库提供多种任务的微调版本，详见使用文档

调用示例

通过pipeline进行掩码预测:

>>> from transformers import pipeline  
>>> fill_mask = pipeline("fill-mask", model="./models/data60gb_86k")  

>>> fill_mask("你们有什么呀[MASK]")  
[{'sequence': '[CLS] 你们有什么呀阿拉伯人 [SEP]', 'score': 0.0990147516131401, 'token': 2355, 'token_str': 'عرب'},  
 {'sequence': '[CLS] 你们有什么呀伙计们 [SEP]', 'score': 0.051633741706609726, 'token': 2308, 'token_str': 'جماعة'},  
 ...（其余预测结果省略）]  

训练配置

使用八核Google Cloud TPU v2进行训练，依托云存储桶保障数据持久化。

评估表现

在五项NLP下游任务中表现优异：

• 情感分析
• 情绪检测
• 命名实体识别
• 冒犯性语言检测
• 方言识别
  性能超越多语言BERT/AraBERT/ArabicBERT等模型。

模型下载

Huggingface平台获取: https://huggingface.co/qarib/bert-base-qarib60_860k

联系作者

Ahmed Abdelali, Sabit Hassan, Hamdy Mubarak, Kareem Darwish, Younes Samih

文献引用

@article{abdelali2021pretraining,  
    title={Pre-Training BERT on Arabic Tweets: Practical Considerations},  
    author={Ahmed Abdelali and Sabit Hassan and Hamdy Mubarak and Kareem Darwish and Younes Samih},  
    year={2021},  
    eprint={2102.10684},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}