标签:

• exbert 语言: 英文 许可证: apache-2.0 数据集:
• 书籍语料库
• 维基百科

ALBERT XXLarge v2 模型

基于掩码语言建模（MLM）目标在英文语料上预训练的模型。该模型由此论文提出，并首次发布于此代码库。与所有ALBERT模型一样，该模型不区分大小写：例如"english"和"English"被视为相同。

免责声明：发布ALBERT的团队未为此模型编写模型卡片，故本模型卡片由Hugging Face团队撰写。

模型描述

ALBERT是基于自监督方式在大规模英文语料上预训练的Transformer模型。这意味着它仅对原始文本进行预训练，没有任何人工标注（因此可以利用大量公开可用数据），通过自动化过程从文本生成输入和标签。具体来说，它通过两个目标进行预训练：

• 掩码语言建模（MLM）：随机掩码输入句子中15%的单词，然后让模型预测被掩码的单词。这与传统RNN逐个查看单词的方式不同，也不同于GPT等自回归模型内部掩码未来标记的方式。这使得模型能够学习句子的双向表示。
• 句子顺序预测（SOP）：ALBERT使用基于预测两个连续文本片段顺序的预训练损失。

通过这种方式，模型学习到英语语言的内部表示，可用于提取对下游任务有用的特征。例如，如果有标注句子的数据集，可以使用ALBERT模型生成的特征作为输入来训练标准分类器。

ALBERT的特殊之处在于它在Transformer中共享各层权重。因此，所有层具有相同的参数。虽然这种重复层结构减少了内存占用，但由于需要迭代相同数量的（重复）层，其计算成本与具有相同隐藏层数的BERT架构相似。

这是xxlarge模型的第二个版本。由于不同的dropout率、额外的训练数据和更长的训练时间，版本2在几乎所有下游任务中都取得了更好的结果。

该模型具有以下配置：

• 12个重复层
• 128维词嵌入
• 4096维隐藏层
• 64个注意力头
• 2.23亿参数

预期用途与限制

您可以直接使用原始模型进行掩码语言建模或下一句预测，但主要目的是在下游任务上进行微调。请参阅模型中心寻找您感兴趣任务的微调版本。

请注意，该模型主要针对使用整个（可能被掩码的）句子进行决策的任务，如序列分类、标记分类或问答。对于文本生成等任务，应使用GPT2等模型。

使用方法

可直接使用pipeline进行掩码语言建模：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='albert-xxlarge-v2')
>>> unmasker("Hello I'm a [MASK] model.")

在PyTorch中获取文本特征：

from transformers import AlbertTokenizer, AlbertModel
tokenizer = AlbertTokenizer.from_pretrained('albert-xxlarge-v2')
model = AlbertModel.from_pretrained("albert-xxlarge-v2")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

在TensorFlow中：

from transformers import AlbertTokenizer, TFAlbertModel
tokenizer = AlbertTokenizer.from_pretrained('albert-xxlarge-v2')
model = TFAlbertModel.from_pretrained("albert-xxlarge-v2")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

局限性与偏差

即使训练数据相对中立，该模型仍可能存在预测偏差：

>>> unmasker("The man worked as a [MASK].")
>>> unmasker("The woman worked as a [MASK].")

这种偏差也会影响该模型的所有微调版本。

训练数据

ALBERT模型在BookCorpus（包含11,038本未出版书籍）和英文维基百科（不包括列表、表格和标题）上进行预训练。

训练流程

预处理

文本被小写化并使用SentencePiece进行分词，词汇量为30,000。模型输入格式为：

[CLS] Sentence A [SEP] Sentence B [SEP]

训练

ALBERT流程遵循BERT设置。每个句子的掩码过程如下：

• 15%的标记被掩码
• 80%的情况用[MASK]替换
• 10%的情况用随机标记替换
• 10%的情况保持原词不变

评估结果

在下游任务微调后，ALBERT模型取得以下结果：

BibTeX引用信息

@article{DBLP:journals/corr/abs-1909-11942,
  author    = {Zhenzhong Lan and
               Mingda Chen and
               Sebastian Goodman and
               Kevin Gimpel and
               Piyush Sharma and
               Radu Soricut},
  title     = {{ALBERT:} {A} Lite {BERT} for Self-supervised Learning of Language
               Representations},
  journal   = {CoRR},
  volume    = {abs/1909.11942},
  year      = {2019},
  url       = {http://arxiv.org/abs/1909.11942},
  archivePrefix = {arXiv},
  eprint    = {1909.11942},
  timestamp = {Fri, 27 Sep 2019 13:04:21 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1909-11942.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}