语言: 英语
许可证: Apache-2.0
数据集:

• 书籍语料库
• 维基百科
• 吉加词库

漏斗式Transformer小型模型（带解码器的B4-4-4结构）

该模型基于英语语料库，采用与ELECTRA类似的目标进行预训练。相关论文见此处，模型首次发布于此代码库。该模型为无大小写区分版本：不区分"english"和"English"。

免责声明：发布Funnel Transformer的团队未提供该模型的说明卡片，本文档由Hugging Face团队撰写。

模型描述

漏斗式Transformer是通过自监督方式在大型英语文本语料库上预训练的transformer模型。这意味着它仅使用原始文本进行预训练，无需任何人工标注（因此可利用大量公开数据），并通过自动流程从文本生成输入和标签。

具体而言，一个小型语言模型会破坏输入文本并作为生成器，预训练目标是预测哪些标记是原始内容、哪些被替换，类似GAN的训练方式。

通过这种方式，模型学习到英语语言的内部表征，可用于提取下游任务所需的特征：例如若有带标签句子的数据集，可以使用该模型生成的特征作为输入来训练标准分类器。

使用场景与限制

您可以直接使用该模型提取文本的向量表征，但主要适用于下游任务的微调。请查阅模型中心寻找相关任务的微调版本。

注意：该模型主要针对需要利用完整句子（可能含掩码）进行决策的任务，如序列分类、标记分类或问答。文本生成类任务建议使用GPT2等模型。

使用方法

PyTorch环境下获取文本特征的示例：

from transformers import FunnelTokenizer, FunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/small")
model = FunneModel.from_pretrained("funnel-transformer/small")
text = "替换为任意文本"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow环境下：

from transformers import FunnelTokenizer, TFFunnelModel
tokenizer = FunnelTokenizer.from_pretrained("funnel-transformer/small")
model = TFFunnelModel.from_pretrained("funnel-transformer/small")
text = "替换为任意文本"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练数据

BERT模型的预训练数据包括：

• BookCorpus：含11,038本未出版书籍
• 英文维基百科（排除列表/表格/标题）
• Clue Web：7.33亿英文网页
• GigaWord：新闻电讯文本存档
• Common Crawl：原始网页数据集

BibTeX引用信息

@misc{dai2020funneltransformer,
    title={漏斗式Transformer：通过过滤序列冗余实现高效语言处理},
    author={戴子航、赖国坤、杨毅明、Quoc V. Le},
    year={2020},
    eprint={2006.03236},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}