语言: 阿拉伯语
数据集:

• 维基百科
• Osian
• 15亿阿拉伯语语料库
• 未打乱的OSCAR阿拉伯语语料
• Assafir（私有）

小部件示例:

• 文本: "相传有个狡猾的农夫，把自家地里的水井高价卖给了邻居"
• 文本: "耶路撒冷是一座历史名城，由迦南人建于"
• 文本: "很久很久以前，在古老的岁月里"

阿拉伯语GPT2模型

更多信息请参阅我们的论文AraGPT2。

本仓库代码用于训练所有GPT2变体，支持通过TPUEstimator API在GPU和TPU上进行GPT2的训练与微调。

基础版和中型GPT2使用gpt2文件夹中的代码，可训练minimaxir/gpt-2-simple库中的模型。这些模型采用lamb优化器，架构与gpt2相同，完全兼容transformers库。

大型和巨型GPT2使用imcaspar/gpt2-ml库训练，遵循grover架构。可使用grover/modeling_gpt2.py中的PyTorch类直接替换transformers库中的类（支持transformers的v4.x版本）。因adam和lamb优化器内存消耗过大，导致模型无法在TPU核心上处理单个批次，故采用adafactor优化器。

AraGPT2使用与AraBERTv2相同的大规模阿拉伯语数据集进行训练。

使用方法

使用transformers测试模型

from transformers import GPT2TokenizerFast, pipeline  
#基础版和中型  
from transformers import GPT2LMHeadModel  
#大型和巨型  
# pip install arabert  
from arabert.aragpt2.grover.modeling_gpt2 import GPT2LMHeadModel  

from arabert.preprocess import ArabertPreprocessor  

MODEL_NAME='aubmindlab/aragpt2-medium'  
arabert_prep = ArabertPreprocessor(model_name=MODEL_NAME)  

text=""  
text_clean = arabert_prep.preprocess(text)  

model = GPT2LMHeadModel.from_pretrained(MODEL_NAME)  
tokenizer = GPT2TokenizerFast.from_pretrained(MODEL_NAME)  
generation_pipeline = pipeline("text-generation",model=model,tokenizer=tokenizer)  

#可尝试不同解码设置  
generation_pipeline(text,  
    pad_token_id=tokenizer.eos_token_id,  
    num_beams=10,  
    max_length=200,  
    top_p=0.9,  
    repetition_penalty = 3.0,  
    no_repeat_ngram_size = 3)[0]['generated_text']  

使用transformers微调

参考此指南。

使用TF 1.15.4代码微调

创建训练TFRecords:

python create_pretraining_data.py  
 --input_file=<原始文本文件，文档/文章间以空行分隔>  
 --output_file=<输出TFRecord>  
 --tokenizer_dir=<包含GPT2分词器文件的目录>  

微调:

python3 run_pretraining.py \\\n --input_file="gs://<GS存储桶>/pretraining_data/*" \\\n --output_dir="gs://<GS存储桶>/pretraining_model/" \\\n --config_file="config/small_hparams.json" \\\n --batch_size=128 \\\n --eval_batch_size=8 \\\n --num_train_steps= \\\n --num_warmup_steps= \\\n --learning_rate= \\\n --save_checkpoints_steps= \\\n --max_seq_length=1024 \\\n --max_eval_steps= \\\n --optimizer="lamb" \\\n --iterations_per_loop=5000 \\\n --keep_checkpoint_max=10 \\\n --use_tpu=True \\\n --tpu_name=<TPU名称> \\\n --do_train=True \\\n --do_eval=False  

模型规模

所有模型均可在HuggingFace的aubmindlab页面获取，支持PyTorch、TF2和TF1格式的检查点。

计算资源

数据集

新AraGPT2模型的预训练数据同样用于AraBERTv2和AraELECTRA。

数据集包含77GB或200,095,961行或8,655,948,860词或82,232,988,358字符（未应用Farasa分词前）。

新数据集在AraBERTv1所用数据基础上，添加了经过严格筛选的未打乱OSCAR语料，但剔除了之前爬取的网站：

• 经筛选的未打乱OSCAR语料
• 2020年9月1日的阿拉伯语维基百科 dump
• 15亿词阿拉伯语语料库
• OSIAN语料库
• Assafir新闻文章。特别感谢Assafir提供数据

免责声明

AraGPT2生成的文本由基于海量文本训练的神经网络自动生成，不代表作者或其所属机构的官方态度和偏好。该生成文本仅限用于科研目的。若侵犯您的权益或违反社会公德，请勿传播。

引用

若使用本模型，请引用：

@inproceedings{antoun-etal-2021-aragpt2,  
    title = "{A}ra{GPT}2: Pre-Trained Transformer for {A}rabic Language Generation",  
    author = "Antoun, Wissam  and  
      Baly, Fady  and  
      Hajj, Hazem",  
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",  
    month = apr,  
    year = "2021",  
    address = "Kyiv, Ukraine (Virtual)",  
    publisher = "Association for Computational Linguistics",  
    url = "https://www.aclweb.org/anthology/2021.wanlp-1.21",  
    pages = "196--207",  
}  

致谢

感谢TensorFlow Research Cloud (TFRC)提供免费Cloud TPU访问，以及AUB MIND Lab成员的支持。同时感谢Yakshof和Assafir提供数据及存储支持。另感谢Habib Rahal (https://www.behance.net/rahalhabib)为AraBERT设计形象。

联系方式

Wissam Antoun: 领英 | 推特 | GitHub | wfa07@mail.aub.edu | wissam.antoun@gmail.com

Fady Baly: 领英 | 推特 | GitHub | fgb06@mail.aub.edu | baly.fady@gmail.com