Bert Base Arabertv02 Twitter

由 aubmindlab 开发

针对阿拉伯语方言及推文优化的BERT模型，在6000万条阿拉伯语推文上进行了MLM任务预训练，新增表情符号和常用词汇支持。

大型语言模型

Transformers

阿拉伯语

#阿拉伯语推文优化 #多方言支持 #表情符号增强

下载量 2,148

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

基于谷歌BERT架构的阿拉伯语预训练模型，特别优化了阿拉伯语方言和社交媒体文本处理能力。

模型特点

推文优化

专门在6000万条多方言阿拉伯语推文上训练，优化社交媒体文本处理

扩展词汇表

新增表情符号和原先缺失的常用词汇支持

短文本优化

预训练时单句最大长度设为64，特别适合短文本处理

模型能力

阿拉伯语文本理解

社交媒体文本分析

掩码词预测

方言处理

使用案例

社交媒体分析

阿拉伯语推文情感分析

分析阿拉伯语用户的推文情感倾向

方言内容理解

处理阿拉伯语各地方言的社交媒体内容

文本补全

阿拉伯语文本自动补全

预测被掩码的阿拉伯语词汇

如能准确预测'黎巴嫩的首都是[MASK]'中的'贝鲁特'

语言：阿拉伯语
数据集：

维基百科
Osian
15亿阿拉伯语语料库
未经打乱的OSCAR阿拉伯语数据集
Assafir（私有）
Twitter（私有）

示例输入：

文本："黎巴嫩的首都是[MASK]。"

AraBERTv0.2-Twitter

AraBERTv0.2-Twitter基础版/大型版是针对阿拉伯语方言及推文优化的两款新模型，通过继续在约6000万条阿拉伯语推文（从1亿条推文库中筛选）上执行MLM任务进行预训练。

这两款新模型的词汇表中新增了表情符号及原先缺失的常用词汇。预训练时单句最大长度设为64，仅训练1个周期。

AraBERT是基于谷歌BERT架构的阿拉伯语预训练模型，采用BERT-Base相同配置。详见AraBERT论文及AraBERT技术交流会。

其他模型

模型	HuggingFace模型名称	大小（MB/参数）	预分割处理	数据集（句数/体积/词数）
AraBERTv0.2基础版	bert-base-arabertv02	543MB/136M	否	2亿句/77GB/86亿词
AraBERTv0.2大型版	bert-large-arabertv02	1.38GB/371M	否	2亿句/77GB/86亿词
AraBERTv2基础版	bert-base-arabertv2	543MB/136M	是	2亿句/77GB/86亿词
AraBERTv2大型版	bert-large-arabertv2	1.38GB/371M	是	2亿句/77GB/86亿词
AraBERTv0.1基础版	bert-base-arabertv01	543MB/136M	否	7700万句/23GB/27亿词
AraBERTv1基础版	bert-base-arabert	543MB/136M	是	7700万句/23GB/27亿词
AraBERTv0.2-Twitter基础版	bert-base-arabertv02-twitter	543MB/136M	否	v02数据+6000万条多方言推文
AraBERTv0.2-Twitter大型版	bert-large-arabertv02-twitter	1.38GB/371M	否	v02数据+6000万条多方言推文

预处理

该模型训练时单句最大长度为64，超过此长度可能导致性能下降

建议在任何数据集上训练/测试前应用我们的预处理函数。当用于"Twitter"模型时，预处理器会保留并分隔表情符号。

from arabert.preprocess import ArabertPreprocessor  
from transformers import AutoTokenizer, AutoModelForMaskedLM  

model_name="aubmindlab/bert-base-arabertv02-twitter"  
arabert_prep = ArabertPreprocessor(model_name=model_name)  

text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"  
arabert_prep.preprocess(text)  

tokenizer = AutoTokenizer.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")  
model = AutoModelForMaskedLM.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")

引用

若使用本模型，请引用以下文献（谷歌学术的Bibtex有误，请使用以下格式）：

@inproceedings{antoun2020arabert,  
  title={AraBERT: Transformer-based Model for Arabic Language Understanding},  
  author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},  
  booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},  
  pages={9}  
}