语言:

• 阿拉伯语 数据集:
• mc4
• oscar
• 阿拉伯语十亿词库

arabic-t5-small小型阿拉伯语T5模型

这是一个基于T5v1.1（小型架构）训练的模型，训练数据融合了阿拉伯语十亿词库以及mC4和Oscar数据集的阿拉伯语子集。

由于时间限制，该模型仅完成了完整数据集约10%的训练量，相当于22,000个训练步或约43亿个词元。

训练参数

预处理与分词器

我们尽可能简化预处理流程，仅将URL、电子邮件和社交媒体用户提及替换为固定标记。

与其他预训练阿拉伯语语言模型不同，我们选择保留阿拉伯语变音符号作为词汇表的一部分。

分词器在训练集5%的数据上训练完成，词汇表大小为64,000。

更多预处理细节请参阅分词器代码

训练数据

模型训练数据整合了阿拉伯语十亿词库与mC4、Oscar数据集的阿拉伯语子集。

随机保留0.1%数据用于评估，其余用于训练。

性能表现

微调注意事项

本模型预训练时关闭了dropout功能，因此模型配置中默认dropout_rate为0。 进行微调时需重新启用dropout，例如：

model = T5ForConditionalGeneration.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)

或

model = AutoModelForSeq2SeqLM.from_pretrained("flax-community/arabic-t5-small", dropout_rate=0.1)