XLNet（大尺寸模型）

此模型为基于英语预训练的XLNet模型。该模型由Yang等人在论文XLNet: 广义自回归预训练用于语言理解中提出，并首次发布于此代码库。

免责声明：发布XLNet的团队未为此模型编写模型卡片，故本模型卡片由Hugging Face团队撰写。

模型描述

XLNet是一种基于新型广义排列语言建模目标的非监督语言表示学习方法。此外，XLNet采用Transformer-XL作为主干模型，在处理长上下文语言任务时表现出卓越性能。总体而言，XLNet在问答、自然语言推理、情感分析和文档排序等多种下游语言任务中均取得了最先进（SOTA）的结果。

预期用途与限制

该模型主要用于在下游任务上进行微调。请参阅模型中心以查找您感兴趣任务的微调版本。

请注意，该模型主要针对需要使用整个句子（可能被掩码）进行决策的任务进行微调，例如序列分类、标记分类或问答。对于文本生成等任务，您应参考GPT2等模型。

使用示例

以下是如何在PyTorch中使用此模型获取给定文本特征的示例：

from transformers import XLNetTokenizer, XLNetModel

tokenizer = XLNetTokenizer.from_pretrained('xlnet-large-cased')
model = XLNetModel.from_pretrained('xlnet-large-cased')

inputs = tokenizer("你好，我的狗很可爱", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

BibTeX条目及引用信息

@article{DBLP:journals/corr/abs-1906-08237,
  author    = {Zhilin Yang and
               Zihang Dai and
               Yiming Yang and
               Jaime G. Carbonell and
               Ruslan Salakhutdinov and
               Quoc V. Le},
  title     = {XLNet: 广义自回归预训练用于语言理解},
  journal   = {CoRR},
  volume    = {abs/1906.08237},
  year      = {2019},
  url       = {http://arxiv.org/abs/1906.08237},
  eprinttype = {arXiv},
  eprint    = {1906.08237},
  timestamp = {Mon, 24 Jun 2019 17:28:45 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1906-08237.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}