YOSO

YOSO模型专为序列长度4096的掩码语言建模（MLM）设计。

关于YOSO

YOSO模型由Zhanpeng Zeng、Yunyang Xiong、Sathya N. Ravi、Shailesh Acharya、Glenn Fung和Vikas Singh在论文《You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling》（https://arxiv.org/abs/2111.09714）中提出。

论文摘要如下：

基于Transformer的模型在自然语言处理（NLP）中广泛应用。Transformer模型的核心是自注意力机制，它捕捉输入序列中标记对的交互，并且计算复杂度与序列长度呈二次方关系。在较长序列上训练此类模型成本高昂。本文中，我们展示了一种基于局部敏感哈希（LSH）的伯努利采样注意力机制，将此类模型的二次复杂度降低至线性。我们通过将自注意力视为与伯努利随机变量相关联的单个标记的总和来绕过二次成本，这些变量原则上可以通过单个哈希一次性采样（尽管在实践中这个数字可能是一个小常数）。这导致了一种高效的采样方案来估计自注意力，该方案依赖于对LSH的特定修改（以便在GPU架构上部署）。我们在标准512序列长度的GLUE基准测试中评估了我们的算法，相对于标准预训练Transformer，我们看到了有利的性能。在用于评估长序列性能的Long Range Arena（LRA）基准测试中，我们的方法取得了与softmax自注意力一致的结果，但具有显著的速度提升和内存节省，并且通常优于其他高效的自注意力方法。我们的代码可通过此https URL获取。

使用方法

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='uw-madison/yoso-4096')
>>> unmasker("巴黎是法国的[MASK]。")

[{'score': 0.024274500086903572,
  'token': 812,
  'token_str': ' 首都',
  'sequence': '巴黎是法国的首都。'},
 {'score': 0.022863076999783516,
  'token': 3497,
  'token_str': ' 共和国',
  'sequence': '巴黎是法国的共和国。'},
 {'score': 0.01383623294532299,
  'token': 1515,
  'token_str': ' 法语',
  'sequence': '巴黎是法国的法语。'},
 {'score': 0.013550693169236183,
  'token': 2201,
  'token_str': ' 巴黎',
  'sequence': '巴黎是法国的巴黎。'},
 {'score': 0.011591030284762383,
  'token': 270,
  'token_str': ' 总统',
  'sequence': '巴黎是法国的总统。'}]