Bert Large Arabertv02 Twitter

🚀 AraBERTv0.2-Twitter

AraBERTv0.2-Twitter是用于阿拉伯方言和推文的两个新模型，通过在约6000万条阿拉伯语推文（从1亿条推文中筛选而来）上继续使用掩码语言模型（MLM）任务进行预训练得到。这两个新模型在其词汇表中添加了表情符号，以及一些最初不存在的常用词汇。预训练仅进行了1个轮次，最大句子长度为64。

AraBERT 是一个基于 Google的BERT架构 的阿拉伯语预训练语言模型，采用了与BERT-Base相同的配置。更多详细信息可参考 AraBERT论文 和 AraBERT线上活动。

📦 数据集

• wikipedia
• Osian
• 1.5B-Arabic-Corpus
• oscar-arabic-unshuffled
• Assafir（私有）
• Twitter（私有）

🖥️ 示例

{
  "text": " عاصمة لبنان هي [MASK] ."
}

✨ 主要特性

模型变体

💻 使用示例

基础用法

from arabert.preprocess import ArabertPreprocessor
from transformers import AutoTokenizer, AutoModelForMaskedLM

model_name="aubmindlab/bert-base-arabertv02-twitter"
arabert_prep = ArabertPreprocessor(model_name=model_name)

text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"
arabert_prep.preprocess(text)
  
tokenizer = AutoTokenizer.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")
model = AutoModelForMaskedLM.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")

📚 详细文档

预处理

该模型在序列长度为64的情况下进行训练，使用超过64的最大长度可能会导致性能下降

建议在任何数据集上进行训练/测试之前应用预处理函数。当与“twitter”模型一起使用时，预处理器将保留表情符号并在其周围添加空格。

📄 引用

如果您使用了此模型，请按以下方式引用： Google Scholar的Bibtex引用有误（缺少名称），请使用以下内容：

@inproceedings{antoun2020arabert,
  title={AraBERT: Transformer-based Model for Arabic Language Understanding},
  author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},
  booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},
  pages={9}
}

🙏 致谢

感谢TensorFlow研究云（TFRC）免费提供云TPU访问权限，没有这个项目我们无法完成这项工作；感谢 AUB MIND实验室 成员的持续支持；感谢 Yakshof 和Assafir提供数据和存储访问权限；感谢Habib Rahal（https://www.behance.net/rahalhabib）为AraBERT设计了标志。

📞 联系方式

• Wissam Antoun：领英 | 推特 | GitHub | wfa07@mail.aub.edu | wissam.antoun@gmail.com
• Fady Baly：领英 | 推特 | GitHub | fgb06@mail.aub.edu | baly.fady@gmail.com