语言:

• 阿拉伯语 标签:
• 阿拉伯语BERT模型
• 现代标准阿拉伯语(MSA)
• 推特
• 掩码语言模型 小组件:
• 文本: "اللغة العربية هي لغة [MASK]."

ARBERT是我们ACL 2021论文《ARBERT与MARBERT：面向阿拉伯语的深度双向Transformer模型》中描述的三大模型之一。该模型是针对现代标准阿拉伯语(MSA)的大规模预训练掩码语言模型，采用与BERT-base相同的架构：12个注意力层（每层12个注意力头）、768维隐藏状态、10万词片的词汇表，参数量约1.63亿。训练数据涵盖61GB阿拉伯语文本（62亿词元）。更多信息请访问我们的GitHub代码库。

文献引用

若您在科研出版物中使用我们的模型(ARBERT/MARBERT/MARBERTv2)，或认为本资源有价值，请引用如下论文(待更新)：

@inproceedings{abdul-mageed-etal-2021-arbert,
    标题 = "{ARBERT}与{MARBERT}：面向阿拉伯语的深度双向Transformer模型",
    作者 = "Abdul-Mageed, Muhammad 与 Elmadany, AbdelRahim 及 Nagoudi, El Moatez Billah",
    会议 = "第59届计算语言学协会年会暨第11届国际自然语言处理联合会议(长论文卷)",
    月份 = 8月,
    年份 = "2021",
    地址 = "线上",
    出版社 = "计算语言学协会",
    网址 = "https://aclanthology.org/2021.acl-long.551",
    DOI = "10.18653/v1/2021.acl-long.551",
    页码 = "7088--7105",
    摘要 = "预训练语言模型已成为自然语言处理系统的核心组件。虽然多语言模型可服务多种语言，但其存在推理成本高、非英语数据规模与多样性不足等局限。我们针对多样化阿拉伯语变体推出ARBERT与MARBERT两个深度双向Transformer模型，并通过构建ARLUE评估基准（包含42个数据集、6类任务簇）开展系统评估。在ARLUE微调任务中，我们的模型在多数任务（42个数据集中的37个分类任务）上刷新了最优性能。最佳模型的ARLUE综合得分(77.40)超越包括XLM-R Large(体积大3.4倍)在内的所有对比模型。模型已开源于https://github.com/UBC-NLP/marbert，ARLUE将通过同仓库发布。"
}

致谢

本研究获得加拿大自然科学与工程研究委员会、社会科学与人文研究委员会、加拿大创新基金会、ComputeCanada与UBC ARC-Sockeye支持，并感谢Google TensorFlow研究云计划提供的免费TPU算力支持。