许可协议: 知识共享-署名-非商业性使用 4.0
语言:

• 阿拉伯语
  标签:
• 阿拉伯语BERT
• 沙特方言
• 推特
• 掩码语言模型
  应用示例:
• 文本: "اللي ما يعرف الصقر [MASK]."

SaudiBERT是首个专注于沙特方言文本的预训练大语言模型。该模型基于两个大规模语料库进行预训练：包含1.41亿条推文的沙特推特巨型语料库(STMC)，以及从各类沙特在线论坛收集的超过7000万句子的沙特论坛语料库。数据集总规模达26.3GB文本。相关代码文件及实验结果已发布于项目仓库。

引用格式

若您在学术出版物中使用SaudiBERT模型，或认为本资源库内容对您的研究有所帮助，请按以下格式引用我们的论文（引用细节将后续更新）：

@article{qarah2024saudibert,
  title={SaudiBERT: 基于沙特方言语料库预训练的大语言模型},
  author={卡拉克, 费萨尔},
  journal={arXiv预印本 arXiv:2405.06239},
  year={2024}
}