语言: 阿拉伯语
数据集:

• 维基百科
• Osian
• 15亿阿拉伯语语料库
• 未打乱的OSCAR阿拉伯语语料
• Assafir（私有）

示例输入:

• 文本: "黎巴嫩的首都是[MASK]。"

AraELECTRA

ELECTRA是一种自监督语言表示学习方法，能以较低计算成本预训练Transformer网络。ELECTRA模型通过区分“真实”输入标记与另一神经网络生成的“虚假”标记进行训练，类似GAN的判别器。AraELECTRA在阿拉伯语问答数据集上达到最先进水平。

详见论文AraELECTRA: 阿拉伯语理解的预训练文本判别器。

在transformers中使用生成器

from transformers import pipeline  

fill_mask = pipeline(  
    "fill-mask",  
    model="aubmindlab/araelectra-base-generator",  
    tokenizer="aubmindlab/araelectra-base-generator"  
)  

print(  
    fill_mask("黎巴嫩的首都是[MASK]。")  
)  

数据预处理

建议在训练/测试前使用预处理函数：

安装arabert包进行文本分词或清洗：pip install arabert

from arabert.preprocess import ArabertPreprocessor  

model_name="aubmindlab/araelectra-base"  
arabert_prep = ArabertPreprocessor(model_name=model_name)  

text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"  
arabert_prep.preprocess(text)  

>>> 输出: ولن نبالغ إذا قلنا : إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري  

模型

计算资源

数据集

预训练数据包含77GB/2亿条文本/86亿词/822亿字符（Farasa分词前），来源包括：

• 严格过滤后的未打乱OSCAR语料
• 2020年9月的阿拉伯语维基百科快照
• 15亿词阿拉伯语料库
• OSIAN语料库
• Assafir新闻文章（特别致谢）

TensorFlow 1.x模型

PyTorch/TF2/TF1模型均可在HuggingFace的aubmindlab账号下获取

• 下载命令：wget https://huggingface.co/aubmindlab/MODEL_NAME/resolve/main/tf1_model.tar.gz

引用格式

@inproceedings{antoun-etal-2021-araelectra,  
    title = "{A}ra{ELECTRA}: Pre-Training Text Discriminators for {A}rabic Language Understanding",  
    author = "Antoun, Wissam and Baly, Fady and Hajj, Hazem",  
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",  
    year = "2021",  
    pages = "191--195"  
}  

致谢

感谢TensorFlow Research Cloud提供免费TPU资源，AUB MIND实验室成员的支持，Yakshof和Assafir的数据支持，以及Habib Rahal设计的品牌形象。

联系方式

Wissam Antoun: 领英 | 推特 | GitHub | wfa07@mail.aub.edu

Fady Baly: 领英 | 推特 | GitHub | fgb06@mail.aub.edu