语言: 阿拉伯语
缩略图: https://raw.githubusercontent.com/mawdoo3/Multi-dialect-Arabic-BERT/master/multidialct_arabic_bert.png
数据集:

• nadi

多方言阿拉伯语BERT模型

本仓库为多方言阿拉伯语BERT模型资源库。

由Mawdoo3-AI开发。

关于我们的多方言阿拉伯语BERT模型

我们并未从头开始训练多方言阿拉伯语BERT模型，而是基于Arabic-BERT的权重进行初始化，并在NADI阿拉伯语方言识别任务的1000万条未标注阿拉伯语推文数据上进行了训练。

引用本工作

@misc{talafha2020multidialect,  
    title={Multi-Dialect Arabic BERT for Country-Level Dialect Identification},  
    author={Bashar Talafha and Mohammad Ali and Muhy Eddin Za'ter and Haitham Seelawi and Ibraheem Tuffaha and Mostafa Samir and Wael Farhan and Hussein T. Al-Natsheh},  
    year={2020},  
    eprint={2007.05612},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}  

使用方法

可通过HuggingFace的transformers库加载模型权重：

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("bashar-talafha/multi-dialect-bert-base-arabic")  
model = AutoModel.from_pretrained("bashar-talafha/multi-dialect-bert-base-arabic")  

使用pipeline的示例：

from transformers import pipeline  

fill_mask = pipeline(  
    "fill-mask",  
    model="bashar-talafha/multi-dialect-bert-base-arabic ",  
    tokenizer="bashar-talafha/multi-dialect-bert-base-arabic "  
)  

fill_mask(" سافر الرحالة من مطار [MASK] ")  

[{'sequence': '[CLS] سافر الرحالة من مطار الكويت [SEP]', 'score': 0.08296813815832138, 'token': 3226},  
 {'sequence': '[CLS] سافر الرحالة من مطار دبي [SEP]', 'score': 0.05123933032155037, 'token': 4747},  
 {'sequence': '[CLS] سافر الرحالة من مطار مسقط [SEP]', 'score': 0.046838656067848206, 'token': 13205},  
 {'sequence': '[CLS] سافر الرحالة من مطار القاهرة [SEP]', 'score': 0.03234650194644928, 'token': 4003},  
 {'sequence': '[CLS] سافر الرحالة من مطار الرياض [SEP]', 'score': 0.02606341242790222, 'token': 2200}]  

资源库

更多信息请查看原始资源库。