语言: 阿拉伯语
数据集:

• oscar
• wikipedia
  标签:
• ar
• masked-lm

阿拉伯语ALBERT基础版

阿拉伯语ALBERT基础版预训练语言模型

若在研究中使用了本模型，请引用以下文献:

@software{ali_safaya_2020_4718724,  
  author       = {阿里·萨法亚},  
  title        = {阿拉伯语ALBERT},  
  month        = 8月,  
  year         = 2020,  
  publisher    = {Zenodo},  
  version      = {1.0.0},  
  doi          = {10.5281/zenodo.4718724},  
  url          = {https://doi.org/10.5281/zenodo.4718724}  
}  

预训练数据

模型基于约44亿词进行预训练：

• OSCAR阿拉伯语版（未经打乱的语料库）- 源自Common Crawl的过滤数据
• 近期阿拉伯语维基百科数据转储

训练数据说明：

• 最终语料库保留了句子中的非阿拉伯语词汇，以免影响NER等任务效果
• 虽然预处理时将非阿拉伯字符转为小写，但由于阿拉伯字符本身无大小写区分，模型不区分大小写版本
• 语料库和词汇表不仅包含现代标准阿拉伯语，也涵盖部分方言内容

预训练细节

• 使用谷歌ALBERT官方代码库，在TFRC提供的免费TPU v3-8单卡上完成训练
• 训练参数调整：采用700万训练步数（batch size=64），而非原版的12.5万步（batch size=4096）

模型规格

性能表现

详细性能指标及其他咨询请参阅阿拉伯语ALBERT项目

使用方法

安装torch或tensorflow及Huggingface库transformers后，可通过以下方式调用：

from transformers import AutoTokenizer, AutoModel  

# 加载分词器  
base_tokenizer = AutoTokenizer.from_pretrained("kuisailab/albert-base-arabic")  

# 加载模型  
base_model = AutoModelForMaskedLM.from_pretrained("kuisailab/albert-base-arabic")  

致谢

特别感谢谷歌提供免费TPU算力支持，以及Huggingface团队托管模型资源 😊