language: zh license: mit datasets:

• bookcorpus
• wikipedia

XLNet（基础版模型）

XLNet是基于英文语言预训练的模型。该模型由Yang等人在论文《XLNet: 广义自回归预训练用于语言理解》中提出，并首次发布于此代码库。

免责声明：发布XLNet的团队未为此模型编写模型卡片，因此本模型卡片由Hugging Face团队撰写。

模型描述

XLNet是一种基于新型广义排列语言建模目标的非监督语言表示学习方法。此外，XLNet采用Transformer-XL作为主干模型，在处理长上下文语言任务时表现出色。总体而言，XLNet在问答、自然语言推理、情感分析和文档排序等多种下游语言任务上实现了最先进的（SOTA）效果。

预期用途与限制

该模型主要用于在下游任务上进行微调。请参阅模型中心以寻找您感兴趣任务的微调版本。

请注意，该模型主要针对使用整个句子（可能被掩码）进行决策的任务进行微调，例如序列分类、标记分类或问答。对于文本生成等任务，您应参考类似GPT2的模型。

使用方法

以下是如何在PyTorch中使用此模型获取给定文本的特征：

from transformers import XLNetTokenizer, XLNetModel

tokenizer = XLNetTokenizer.from_pretrained('xlnet-base-cased')
model = XLNetModel.from_pretrained('xlnet-base-cased')

inputs = tokenizer("你好，我的狗很可爱", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

BibTeX条目及引用信息

@article{DBLP:journals/corr/abs-1906-08237,
  author    = {Zhilin Yang and
               Zihang Dai and
               Yiming Yang and
               Jaime G. Carbonell and
               Ruslan Salakhutdinov and
               Quoc V. Le},
  title     = {XLNet: 广义自回归预训练用于语言理解},
  journal   = {CoRR},
  volume    = {abs/1906.08237},
  year      = {2019},
  url       = {http://arxiv.org/abs/1906.08237},
  eprinttype = {arXiv},
  eprint    = {1906.08237},
  timestamp = {Mon, 24 Jun 2019 17:28:45 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1906-08237.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}