语言: 英语
许可证: Apache-2.0
数据集:

• BookCorpus
• 维基百科

ALBERT XLarge v1 模型

该模型是基于英语语料，采用掩码语言建模（MLM）目标预训练的模型。其相关论文见此处，首次发布于此代码库。与所有ALBERT模型一样，此模型不区分大小写：例如"english"和"English"被视为相同。

免责声明：ALBERT发布团队未为此模型编写说明卡片，本卡片由Hugging Face团队撰写。

模型描述

ALBERT是基于自监督方式在大规模英语文本上预训练的Transformer模型。这意味着它仅通过原始文本进行预训练，无需人工标注（因此可利用大量公开数据），并通过自动化流程从文本生成输入和标签。具体而言，其预训练目标包括：

• 掩码语言建模（MLM）：随机遮蔽输入句子中15%的词汇，要求模型预测被遮蔽的词汇。与传统RNN逐词处理或GPT类自回归模型不同，MLM支持双向句子表征学习。
• 句子顺序预测（SOP）：通过预测连续文本段的顺序进行预训练。

该模型学习到的英语语言内部表征可用于下游任务特征提取。例如，在有标签句子数据集上，可利用ALBERT生成的特征训练标准分类器。

ALBERT的特殊性在于其Transformer层参数共享。所有层具有相同权重，这种重复层结构降低了内存占用，但计算成本仍与具有相同隐藏层数的BERT架构相当。

此为XLarge模型的第一版。第二版因调整丢弃率、增加训练数据和延长训练时间，在几乎所有下游任务中表现更优。

模型配置：

• 24个重复层
• 128维词嵌入
• 2048维隐藏层
• 16个注意力头
• 5800万参数

使用场景与限制

基础模型可用于掩码语言建模或下一句预测，但主要适用于下游任务微调。可访问模型库查找相关任务的微调版本。

注意：该模型主要面向需要整句（可能含掩码）决策的任务，如序列分类、标记分类或问答。文本生成任务建议使用GPT2等模型。

使用方法

掩码填充示例：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='albert-xlarge-v1')
>>> unmasker("Hello I'm a [MASK] model.")
[ ... ]

PyTorch特征提取：

from transformers import AlbertTokenizer, AlbertModel
tokenizer = AlbertTokenizer.from_pretrained('albert-xlarge-v1')
model = AlbertModel.from_pretrained("albert-xlarge-v1")
text = "任意替换文本"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow特征提取：

from transformers import AlbertTokenizer, TFAlbertModel
tokenizer = AlbertTokenizer.from_pretrained('albert-xlarge-v1')
model = TFAlbertModel.from_pretrained("albert-xlarge-v1")
text = "任意替换文本"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

偏差问题

即使训练数据相对中立，模型预测仍可能存在偏见：

>>> unmasker("The man worked as a [MASK].")  # 预测职业偏向男性化
>>> unmasker("The woman worked as a [MASK].")  # 预测职业偏向女性化

此类偏差会影响所有微调版本模型。

训练数据

预训练数据包含：

• 11,038本未出版书籍构成的BookCorpus
• 经处理的英文维基百科（排除列表/表格/标题）

训练流程

预处理

文本经小写处理和SentencePiece分词（词表30,000）。输入格式为：

[CLS] 句子A [SEP] 句子B [SEP]

训练细节

遵循BERT训练设置，掩码规则：

• 15%词汇被遮蔽
• 80%替换为[MASK]
• 10%替换为随机词
• 10%保持原词

评估结果

下游任务微调后表现：

引用信息

@article{DBLP:journals/corr/abs-1909-11942,
  author    = {Zhenzhong Lan et al.},
  title     = {ALBERT: A Lite BERT for Self-supervised Learning of Language Representations},
  journal   = {CoRR},
  volume    = {abs/1909.11942},
  year      = {2019},
  url       = {http://arxiv.org/abs/1909.11942}
}