语言: 阿拉伯语
数据集:

• oscar
• wikipedia
  标签:
• ar
• masked-lm

阿拉伯语-ALBERT大模型

ALBERT大模型的阿拉伯语预训练版本

若在研究中使用了本模型，请引用以下文献：

@software{ali_safaya_2020_4718724,
  作者       = {Ali Safaya},
  标题        = {Arabic-ALBERT},
  月份        = 8月,
  年份         = 2020,
  出版方      = {Zenodo},
  版本        = {1.0.0},
  DOI         = {10.5281/zenodo.4718724},
  网址        = {https://doi.org/10.5281/zenodo.4718724}
}

预训练数据

模型基于约44亿词进行预训练：

• OSCAR阿拉伯语版（未经打乱的语料库）——从Common Crawl过滤所得
• 最新的阿拉伯语维基百科数据转储

关于训练数据的说明：

• 最终语料库保留了句子中的非阿拉伯语词汇，以免影响NER等任务效果
• 虽然预处理时将非阿拉伯字符转为小写，但由于阿拉伯字符本身无大小写区分，模型不区分大小写版本
• 语料和词汇集不仅包含现代标准阿拉伯语，也涵盖部分方言阿拉伯语

预训练细节

• 使用Google ALBERT官方代码库在TFRC提供的免费TPU v3-8上完成训练
• 训练参数调整：采用64的批次大小训练700万步（原BERT方案为4096批次125,000步）

模型架构

性能表现

完整评估结果及咨询请访问Arabic-ALBERT项目主页

使用方式

安装torch或tensorflow及Huggingface库transformers后，可通过以下代码调用：

from transformers import AutoTokenizer, AutoModel

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained("kuisailab/albert-large-arabic")

# 加载模型
model = AutoModelForMaskedLM.from_pretrained("kuisailab/albert-large-arabic")

致谢

感谢Google提供免费TPU算力支持，以及Huggingface团队托管模型资源 😊