阿拉伯语GPT2模型

更多信息请参阅我们的论文AraGPT2

本仓库代码用于训练所有GPT2变体，支持通过TPUEstimator API在GPU和TPU上进行GPT2的训练与微调。

基础版和中型GPT2使用gpt2文件夹中的代码，可训练minimaxir/gpt-2-simple库中的模型。这些模型采用lamb优化器，架构与gpt2完全一致，并完全兼容transformers库。

大型和巨型GPT2使用imcaspar/gpt2-ml库训练，采用grover架构。您可以使用grover/modeling_gpt2.py中的PyTorch类直接替换transformers库中的类（应支持transformers的v4.x版本）。由于adam和lamb优化器内存占用过高，这两个模型均采用adafactor优化器训练。

AraGPT2使用与AraBERTv2相同的大规模阿拉伯语数据集进行训练。

注意：模型输入需使用arabert库进行预处理

否则模型将无法生成正确输出。

使用transformers测试模型：

模型代码现已托管在HuggingFace，需使用trust_remote_code参数，示例如下：

from transformers import AutoModelForCausalLM, pipeline
from arabert.preprocess import ArabertPreprocessor

MODEL_NAME='aubmindlab/aragpt2-large'
arabert_prep = ArabertPreprocessor(model_name=MODEL_NAME)

text=""
text_clean = arabert_prep.preprocess(text)

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, trust_remote_code=True)
tokenizer = GPT2TokenizerFast.from_pretrained(MODEL_NAME)
generation_pipeline = pipeline(
    "text-generation", model=MODEL_NAME, trust_remote_code=True
)

#可自由尝试不同解码设置
generation_pipeline(text,
    pad_token_id=pipeline.tokenizer.eos_token_id,
    num_beams=10,
    max_length=200,
    top_p=0.9,
    repetition_penalty = 3.0,
    no_repeat_ngram_size = 3)[0]['generated_text']
>>>

使用transformers微调：

参考此指南

使用TF 1.15.4代码微调：

创建训练TFRecords：

python create_pretraining_data.py
 --input_file=<原始文本文件，文档/文章间用空行分隔>
 --output_file=<输出TFRecord>
 --tokenizer_dir=<包含GPT2分词器文件的目录>

微调：

python3 run_pretraining.py \
 --input_file="gs://<GS存储桶>/pretraining_data/*" \
 --output_dir="gs://<GS存储桶>/pretraining_model/" \
 --config_file="config/small_hparams.json" \
 --batch_size=128 \
 --eval_batch_size=8 \
 --num_train_steps= \
 --num_warmup_steps= \
 --learning_rate= \
 --save_checkpoints_steps= \
 --max_seq_length=1024 \
 --max_eval_steps= \
 --optimizer="lamb" \
 --iterations_per_loop=5000 \
 --keep_checkpoint_max=10 \
 --use_tpu=True \
 --tpu_name=<TPU名称> \
 --do_train=True \
 --do_eval=False

模型规格

所有模型均可在HuggingFace的aubmindlab页面获取，提供PyTorch、TF2和TF1格式的检查点。

计算资源

数据集

新AraBERT模型的预训练数据同样用于GPT2和ELECTRA模型。

数据集包含77GB数据，含200,095,961行文本、8,655,948,860单词和82,232,988,358字符（应用Farasa分词前）。

新数据集在AraBERTv1使用数据的基础上，新增了经过严格过滤的未打乱OSCAR语料（不含先前爬取的网站）：

• 过滤后的未打乱OSCAR语料
• 2020年9月1日的阿拉伯语维基百科快照
• 15亿词阿拉伯语语料库
• OSIAN语料库
• Assafir新闻文章（特别感谢Assafir提供数据）

免责声明

GPT2阿拉伯语生成的文本由基于海量文本训练的神经网络模型自动生成，不代表作者或其所属机构的官方态度和观点。GPT2阿拉伯语生成的文本仅限用于科研目的。若内容侵犯您的权益或违反社会公德，请勿传播。

引用格式

若使用本模型，请引用：

@inproceedings{antoun-etal-2021-aragpt2,
    title = "{A}ra{GPT}2: Pre-Trained Transformer for {A}rabic Language Generation",
    author = "Antoun, Wissam  and
      Baly, Fady  and
      Hajj, Hazem",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Virtual)",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.wanlp-1.21",
    pages = "196--207",
}

致谢

感谢TensorFlow研究云(TFRC)提供免费Cloud TPU访问支持，感谢AUB MIND实验室成员的持续支持，感谢Yakshof和Assafir提供数据及存储支持，感谢Habib Rahal (https://www.behance.net/rahalhabib)为AraBERT设计形象标识。

联系方式

Wissam Antoun: 领英 | 推特 | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com

Fady Baly: 领英 | 推特 | Github | fgb06@mail.aub.edu | baly.fady@gmail.com