阿拉伯语GPT2模型

更多信息请参阅我们的论文AraGPT2

本仓库代码用于训练所有GPT2变体，支持通过TPUEstimator API在GPU和TPU上进行GPT2的训练与微调。

基础版和中型GPT2使用gpt2文件夹中的代码，可训练minimaxir/gpt-2-simple仓库的模型。这些模型采用lamb优化器，架构与gpt2相同，完全兼容transformers库。

大型和巨型GPT2使用imcaspar/gpt2-ml库训练，采用grover架构。您可以使用grover/modeling_gpt2.py中的PyTorch类直接替换transformers库中的类（应支持transformers的v4.x版本）。由于adam和lamb优化器内存占用过高，这两个模型采用adafactor优化器训练。

AraGPT2使用与AraBERTv2相同的大规模阿拉伯语数据集训练。

注意：模型输入需使用arabert库进行预处理

否则模型将无法生成正确输出。

使用transformers测试模型：

模型代码现托管于HuggingFace，需使用trust_remote_code参数：

from transformers import AutoModelForCausalLM, pipeline
from arabert.preprocess import ArabertPreprocessor

MODEL_NAME='aubmindlab/aragpt2-mega'
arabert_prep = ArabertPreprocessor(model_name=MODEL_NAME)

text=""
text_clean = arabert_prep.preprocess(text)

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, trust_remote_code=True)
tokenizer = GPT2TokenizerFast.from_pretrained(MODEL_NAME)
generation_pipeline = pipeline(
    "text-generation", model=MODEL_NAME, trust_remote_code=True
)

# 可尝试不同解码设置
generation_pipeline(text,
    pad_token_id=pipeline.tokenizer.eos_token_id,
    num_beams=10,
    max_length=200,
    top_p=0.9,
    repetition_penalty = 3.0,
    no_repeat_ngram_size = 3)[0]['generated_text']
>>>

使用transformers微调：

参考此指南

使用TF 1.15.4代码微调：

创建训练TFRecords：

python create_pretraining_data.py
 --input_file=<原始文本文件，文档/文章间用空行分隔>
 --output_file=<输出TFRecord>
 --tokenizer_dir=<包含GPT2分词器文件的目录>

微调：

python3 run_pretraining.py \
  --input_file="gs://<GS存储桶>/pretraining_data/*" \
  --output_dir="gs://<GS存储桶>/pretraining_model/" \
  --config_file="config/small_hparams.json" \
  --batch_size=128 \
  --eval_batch_size=8 \
  --num_train_steps= \
  --num_warmup_steps= \
  --learning_rate= \
  --save_checkpoints_steps= \
  --max_seq_length=1024 \
  --max_eval_steps= \
  --optimizer="lamb" \
  --iterations_per_loop=5000 \
  --keep_checkpoint_max=10 \
  --use_tpu=True \
  --tpu_name=<TPU名称> \
  --do_train=True \
  --do_eval=False

模型规格

所有模型可在HuggingFace的aubmindlab页面获取，提供PyTorch、TF2和TF1格式的检查点。

计算资源

数据集

新AraBERT模型的预训练数据也用于GPT2和ELECTRA。

数据集包含77GB数据，200,095,961行文本，8,655,948,860个单词，82,232,988,358个字符（Farasa分词前）。

新数据集在AraBERTv1使用的基础上，新增了经过严格过滤的未打乱OSCAR语料：

• 过滤后的未打乱OSCAR语料
• 2020/09/01的阿拉伯语维基百科转储
• 15亿词阿拉伯语语料库
• OSIAN语料库
• Assafir新闻文章（特别感谢Assafir提供数据）

免责声明

GPT2阿拉伯语生成的文本由神经网络模型自动生成，不代表作者或其所属机构的官方立场。生成文本仅限科研用途，如侵犯您的权益或违反社会公德，请勿传播。

引用格式

@inproceedings{antoun-etal-2021-aragpt2,
    title = "{A}ra{GPT}2: Pre-Trained Transformer for {A}rabic Language Generation",
    author = "Antoun, Wissam  and
      Baly, Fady  and
      Hajj, Hazem",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Virtual)",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.wanlp-1.21",
    pages = "196--207",
}

致谢

感谢TensorFlow研究云(TFRC)提供免费Cloud TPU访问，以及AUB MIND实验室成员的持续支持。同时感谢Yakshof和Assafir提供数据和存储支持，以及Habib Rahal (https://www.behance.net/rahalhabib)为AraBERT设计形象。

联系方式

Wissam Antoun: 领英 | 推特 | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com

Fady Baly: 领英 | 推特 | Github | fgb06@mail.aub.edu | baly.fady@gmail.com