语言:

• 阿拉伯语
• 阿尔及利亚方言

标签:

• pytorch
• bert
• 多语言
• 阿拉伯语
• 阿尔及利亚方言

许可证: apache-2.0

示例输入:

• text: "我来自阿尔及利亚[MASK]省"
• text: "愿真主[MASK]我的兄弟萨米"
• text: "愿主[MASK]亲爱的兄弟"
• text: "阿尔及利亚[MASK]万岁"
• text: "我的灵魂啊，阿尔及利亚[MASK]"

推理支持: true

DziriBERT阿尔及利亚方言模型

DziriBERT是首个专为阿尔及利亚方言预训练的基于Transformer的语言模型。该模型可处理同时使用阿拉伯字母和拉丁字母书写的阿尔及利亚语内容。即使在预训练数据量较少的情况下（约100万条推文），它仍在阿尔及利亚文本分类数据集上创造了新的最优性能记录。

更多技术细节请参阅我们的论文：https://arxiv.org/pdf/2109.12346.pdf

使用方法

from transformers import BertTokenizer, BertForMaskedLM

tokenizer = BertTokenizer.from_pretrained("alger-ia/dziribert")
model = BertForMaskedLM.from_pretrained("alger-ia/dziribert")

微调脚本可在我们的GitHub仓库获取：https://github.com/alger-ia/dziribert

局限性

本项目预训练数据来源于社交媒体（Twitter），因此掩码语言建模任务在某些情况下可能预测出冒犯性词汇。这类词汇的建模可能成为优势（例如训练仇恨言论检测模型时）或劣势（例如直接向终端用户生成回复时）。根据下游任务需求，特别是在向终端用户返回自动生成文本时，可能需要过滤此类词汇。

引用方式

@article{dziribert,
  title={DziriBERT：面向阿尔及利亚方言的预训练语言模型},
  author={阿卜杜伊, 阿明 and 贝里米, 穆罕默德 and 乌萨拉, 穆拉德 and 穆萨维, 阿卜杜勒瓦哈卜},
  journal={arXiv预印本 arXiv:2109.12346},
  year={2021}
}

联系方式

如有任何疑问、反馈或请求，请联系amine.abdaoui.nlp@gmail.com