BEiT是一种基于视觉Transformer(ViT)架构的图像分类模型，通过自监督学习在ImageNet-21k上预训练，并在ImageNet-1k上微调。

BEiT是一种基于视觉Transformer的模型，通过自监督学习在ImageNet-21k上预训练，并在ImageNet-1k上微调，用于图像分类任务。

Transformer-XL是一种采用相对位置编码的因果Transformer架构，能够通过复用先前计算的隐藏状态来捕捉更长上下文，适用于文本生成任务。