语言:

• 德语 标签:
• tinybert
• 填充掩码 数据集:
• 维基百科

这里展示的是针对德语（de）的tinybert模型。该模型是通过蒸馏bert基础cased模型（https://huggingface.co/dbmdz/bert-base-german-cased）创建的，方法如https://arxiv.org/abs/1909.10351（TinyBERT：用于自然语言理解的BERT蒸馏）中所述。

数据集： 德语维基百科文本语料库 - https://github.com/t-systems-on-site-services-gmbh/german-wikipedia-text-corpus

版本： torch==1.4.0 transformers==4.8.1

如何加载用于语言模型（填充掩码）任务的模型：

tokenizer = transformers.BertTokenizer.from_pretrained(model_dir + '/vocab.txt', do_lower_case=False) config = transformers.BertConfig.from_json_file(model_dir+'config.json') model = transformers.BertModel(config=config) model.pooler = nn.Sequential(nn.Linear(in_features=model.config.hidden_size, out_features=model.config.hidden_size, bias=True), nn.LayerNorm((model.config.hidden_size,), eps=1e-12, elementwise_affine=True), nn.Linear(in_features=model.config.hidden_size, out_features=len(tokenizer), bias=True))

model.resize_token_embeddings(len(tokenizer))

checkpoint = torch.load(model_dir+'/pytorch_model.bin', map_location=torch.device('cuda')) model.load_state_dict(checkpoint)

如果是命名实体识别（NER）或分类任务，我们需要加载用于语言模型任务的模型并更改池化器：

model.pooler = nn.Sequential(nn.Dropout(p=config.hidden_dropout_prob, inplace=False), nn.Linear(in_features=config.hidden_size, out_features=n_classes, bias=True))