许可证：gpl-2.0
语言：阿拉伯语

该模型基于《古兰经》、《萨希法》和《纳赫杰·巴拉加》联合训练并微调完成。所有数据集可在此处获取链接。代码即将发布...

部分填空示例：

ذَلِكَ [MASK] لَا رَيْبَ فِيهِ هُدًى لِلْمُتَّقِينَ

- ```
يَا أَيُّهَا النَّاسُ اعْبُدُوا رَبَّكُمُ الَّذِي خَلَقَكُمْ وَالَّذِينَ مِنْ قَبْلِكُمْ لَعَلَّكُمْ [MASK]  

本模型基于Bert Base Arabic微调30个周期，采用掩码语言建模方法进行优化。每完成5个周期后，我们会重新对文本进行全词掩码处理，以确保模型充分学习嵌入表示并避免数据过拟合。