Bert Large Arabertv02 Twitter

由 aubmindlab 开发

AraBERTv0.2-Twitter是针对阿拉伯语方言及推文优化的预训练语言模型，基于BERT架构开发，新增表情符号和常见词汇支持。

大型语言模型

Transformers

阿拉伯语

#阿拉伯语推文优化 #多方言支持 #表情符号处理

下载量 312

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型通过在约6000万条阿拉伯语推文上继续预训练而得，专门优化了阿拉伯语方言和社交媒体文本的理解能力。

模型特点

方言优化

专门针对阿拉伯语方言和推文内容进行优化训练

表情符号支持

词汇表中新增了表情符号及常见社交媒体词汇

短文本优化

针对64个token的序列长度进行训练，适合社交媒体短文本

模型能力

阿拉伯语文本理解

社交媒体文本处理

掩码语言预测

使用案例

社交媒体分析

阿拉伯语推文情感分析

分析阿拉伯语推文中的情感倾向

方言文本理解

处理阿拉伯语不同地区的方言文本

语言模型应用

文本补全

预测被掩码的词语或短语

示例：'黎巴嫩的首都是[MASK]'可预测为'贝鲁特'

语言: 阿拉伯语
数据集:

维基百科
Osian
15亿阿拉伯语语料库
未经打乱的OSCAR阿拉伯语数据集
Assafir（私有）
Twitter（私有）
小部件示例:
文本: "黎巴嫩的首都是[MASK]。"

AraBERTv0.2-Twitter

AraBERTv0.2-Twitter基础版/大模型是针对阿拉伯语方言及推文优化的两款新模型，通过在约6000万条阿拉伯语推文（从1亿条原始数据中筛选）上继续使用掩码语言建模任务进行预训练而得。

这两款新模型的词汇表中新增了表情符号及原先未包含的常见词汇。预训练时最大句子长度设为64，仅训练1个周期。

AraBERT是基于谷歌BERT架构开发的阿拉伯语预训练语言模型，采用与BERT-Base相同的配置。更多细节详见AraBERT论文及AraBERT技术交流会。

其他模型

模型	HuggingFace模型名称	大小（MB/参数）	预分割处理	数据集（句子数/大小/词数）
AraBERTv0.2基础版	bert-base-arabertv02	543MB/136M	否	2亿/77GB/86亿
AraBERTv0.2大模型	bert-large-arabertv02	1.38GB/371M	否	2亿/77GB/86亿
AraBERTv2基础版	bert-base-arabertv2	543MB/136M	是	2亿/77GB/86亿
AraBERTv2大模型	bert-large-arabertv2	1.38GB/371M	是	2亿/77GB/86亿
AraBERTv0.1基础版	bert-base-arabertv01	543MB/136M	否	7700万/23GB/27亿
AraBERTv1基础版	bert-base-arabert	543MB/136M	是	7700万/23GB/27亿
AraBERTv0.2-Twitter基础版	bert-base-arabertv02-twitter	543MB/136M	否	v02数据+6000万条多方言推文
AraBERTv0.2-Twitter大模型	bert-large-arabertv02-twitter	1.38GB/371M	否	v02数据+6000万条多方言推文

预处理

该模型基于64个token的序列长度训练，使用超过此长度可能导致性能下降

建议在任何数据集上训练/测试前应用我们的预处理函数。当处理"Twitter"模型时，预处理器会保留并分隔表情符号。

from arabert.preprocess import ArabertPreprocessor  
from transformers import AutoTokenizer, AutoModelForMaskedLM  

model_name="aubmindlab/bert-base-arabertv02-twitter"  
arabert_prep = ArabertPreprocessor(model_name=model_name)  

text = "ولن نبالغ إذا قلنا إن هاتف أو كمبيوتر المكتب في زمننا هذا ضروري"  
arabert_prep.preprocess(text)  

tokenizer = AutoTokenizer.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")  
model = AutoModelForMaskedLM.from_pretrained("aubmindlab/bert-base-arabertv02-twitter")

引用

若使用本模型，请引用以下文献（Google Scholar的Bibtex存在作者名缺失问题，请使用以下格式）：

@inproceedings{antoun2020arabert,  
  title={AraBERT: Transformer-based Model for Arabic Language Understanding},  
  author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},  
  booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},  
  pages={9}  
}