该模型基于bookcorpus数据集通过知识蒸馏技术进行了预训练。

该模型的独特之处在于，虽然其架构与BERT相同，但隐藏层维度为256（相当于BERT的三分之一），并配备4个注意力头（因此每个头的维度与BERT一致）。

模型权重通过对bert-base-uncased模型权重进行剪枝初始化，并采用多损失函数进行知识蒸馏微调。

注：分词器与bert-base-uncased模型保持一致。

加载模型和分词器的方法：

from transformers import AutoModelForMaskedLM, BertTokenizer

model_name = "eli4s/prunedBert-L12-h256-A4-finetuned"
model = AutoModelForMaskedLM.from_pretrained(model_name)
tokenizer = BertTokenizer.from_pretrained(model_name)

句子应用示例：

import torch

sentence = "让我们来个[MASK]吧。"

model.eval()
inputs = tokenizer([sentence], padding='longest', return_tensors='pt')
output = model(inputs['input_ids'], attention_mask=inputs['attention_mask'])

mask_index = inputs['input_ids'].tolist()[0].index(103)
masked_token = output['logits'][0][mask_index].argmax(axis=-1)
predicted_token = tokenizer.decode(masked_token)

print(predicted_token)

也可预测最相关的n个候选词：

top_n = 5

vocab_size = model.config.vocab_size
logits = output['logits'][0][mask_index].tolist()
top_tokens = sorted(list(range(vocab_size)), key=lambda  i:logits[i], reverse=True)[:top_n]

tokenizer.decode(top_tokens)