语言:

• 阿拉伯语 标签:
• 阿拉伯语BERT
• 现代标准阿拉伯语(MSA)
• 推特
• 掩码语言模型 小部件示例:
• 文本: "اللغة [MASK] هي لغة العرب"（"[MASK]语是阿拉伯人的语言"）

ARBERTv2是我们发表于ACL 2021的论文**《ARBERT与MARBERT：面向阿拉伯语的深度双向Transformer模型》中所述ARBERT模型的升级版本。该模型在我们2022年的论文《ORCA：阿拉伯语理解挑战性基准》中正式提出。ARBERTv2基于现代标准阿拉伯语数据训练，训练语料规模达243GB文本**（含278亿词元）。

引用格式

若您在研究中使用了ARBERTv2模型，或认为本资源对您有帮助，请引用以下论文（待更新）：

@inproceedings{abdul-mageed-etal-2021-arbert,
    title = "{ARBERT}与{MARBERT}：面向{A}rabic的深度双向Transformer模型",
    author = "Abdul-Mageed, Muhammad 与 Elmadany, AbdelRahim 及 Nagoudi, El Moatez Billah",
    booktitle = "第59届计算语言学协会年会暨第11届自然语言处理国际联合会议论文集（长文卷）",
    month = "8月",
    year = "2021",
    address = "线上会议",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2021.acl-long.551",
    doi = "10.18653/v1/2021.acl-long.551",
    pages = "7088--7105",
    abstract = "（此处保留原文摘要未翻译）"
}

@article{elmadany2022orca,
  title={ORCA：阿拉伯语理解挑战性基准},
  author={Elmadany, AbdelRahim 与 Nagoudi, El Moatez Billah 及 Abdul-Mageed, Muhammad},
  journal={arXiv预印本 arXiv:2212.10758},
  year={2022}
}

致谢

本研究承蒙加拿大自然科学与工程研究委员会、加拿大社会科学与人文研究委员会、加拿大创新基金会、ComputeCanada及UBC ARC-Sockeye支持。特别感谢Google TensorFlow研究云(TFRC)项目提供的免费TPU算力支持。