语言:

• 阿拉伯语
• 摩洛哥方言阿拉伯语 小部件:
• 文本: "给我带了[MASK]。"
• 文本: "我去买[MASK]在药房。"

AIOX实验室与INSEA的SI2M实验室强强联手，为研究人员、工业界及自然语言处理（NLP）社区推出了首个能理解摩洛哥方言"Darija"的智能开源系统。

DarijaBERT是首个针对摩洛哥阿拉伯语方言"Darija"的BERT模型。它基于与BERT-base相同的架构，但去除了下一句预测（NSP）目标。该模型训练数据包含约300万条Darija方言文本序列，总计691MB文本或约1亿个词元。

模型训练数据来自三个不同来源：

• 从专门网站抓取的Darija方言故事
• 来自40个不同摩洛哥频道的YouTube评论
• 基于Darija关键词列表爬取的推文

更多关于DarijaBert的细节详见GitHub仓库

加载模型

可直接通过Huggingface库加载模型：

from transformers import AutoTokenizer, AutoModel
DarijaBERT_tokenizer = AutoTokenizer.from_pretrained("SI2M-Lab/DarijaBERT")
DarijaBert_model = AutoModel.from_pretrained("SI2M-Lab/DarijaBERT")

引用

若您在科研出版物中使用我们的模型，或认为本仓库资源有帮助，请按以下格式引用（待更新）：

@article{gaanoun2023darijabert,
  title={Darijabert: 摩洛哥书面方言NLP研究的重要进展},
  author={加农, 卡梅尔 & 奈拉, 阿卜杜·穆罕默德 & 阿拉克, 阿纳斯 & 贝内拉姆, 伊马德},
  year={2023}
}

致谢

我们衷心感谢谷歌TensorFlow研究云（TRC）计划为我们提供免费的Cloud TPU资源。