标签:

• 多出口BERT模型

语言: 英文

数据集:

• 维基百科
• 书籍语料库
• C4数据集

ElasticBERT-BASE基础版

模型描述

这是ElasticBERT基础版本的实现。

迈向高效自然语言处理：标准化评估与强基线

刘向阳、孙天祥、何俊良、吴玲玲、张新宇、江浩、曹钊、黄萱菁、邱锡鹏

代码链接

fastnlp/elasticbert

使用示例

>>> from transformers import BertTokenizer as ElasticBertTokenizer
>>> from models.configuration_elasticbert import ElasticBertConfig
>>> from models.modeling_elasticbert import ElasticBertForSequenceClassification

>>> num_output_layers = 1
>>> config = ElasticBertConfig.from_pretrained('fnlp/elasticbert-base', num_output_layers=num_output_layers )
>>> tokenizer = ElasticBertTokenizer.from_pretrained('fnlp/elasticbert-base')
>>> model = ElasticBertForSequenceClassification.from_pretrained('fnlp/elasticbert-base', config=config)

>>> input_ids = tokenizer.encode('演员们的表演非常精彩。', return_tensors='pt')
>>> outputs = model(input_ids)

引用文献

@article{liu2021elasticbert,
  作者    = {刘向阳 and
              孙天祥 and
              何俊良 and
              吴玲玲 and
              张新宇 and
              江浩 and
              曹钊 and
              黄萱菁 and
              邱锡鹏},
  标题     = {迈向高效自然语言处理：标准化评估与强基线},
  期刊    = {CoRR},
  卷号    = {abs/2110.07038},
  年份      = {2021},
  网址       = {https://arxiv.org/abs/2110.07038},
  电子打印类型 = {arXiv},
  电子打印    = {2110.07038},
  时间戳 = {2021年10月22日 13:33:09 +0200},
  文献引用链接    = {https://dblp.org/rec/journals/corr/abs-2110-07038.bib},
  文献来源 = {dblp计算机科学文献库, https://dblp.org}
}