MSRoBERTa

针对微软句子补全挑战赛微调的RoBERTa MLM模型。本模型遵循Roberta-base模型规范，区分大小写。

模型说明（引自此处）

RoBERTa是基于海量英文语料通过自监督方式预训练的transformers模型。这意味着它仅通过原始文本进行预训练，无需任何人工标注（因此可利用大量公开数据），通过自动化流程从文本生成输入和标签。

具体而言，该模型采用掩码语言建模（MLM）目标进行预训练。模型会随机遮蔽输入句子中15%的词汇，然后将整个被遮蔽的句子输入模型进行预测。这与传统循环神经网络（RNN）逐词处理的方式不同，也不同于GPT等自回归模型内部遮蔽未来词元的机制。该方法使模型能学习句子的双向表征。

通过这种方式，模型习得了英语语言的内部表征，可提取适用于下游任务的特征：例如若您拥有带标签句子的数据集，可以使用BERT模型生成的特征作为输入来训练标准分类器。

使用方法

您可以直接使用pipeline进行掩码语言建模：

from transformers import pipeline,AutoModelForMaskedLM,AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("nkoh01/MSRoberta")
model = AutoModelForMaskedLM.from_pretrained("nkoh01/MSRoberta")

unmasker = pipeline(
    "fill-mask",
    model=model,
    tokenizer=tokenizer
)
unmasker("Hello, it is a <mask> to meet you.")

[{'score': 0.9508683085441589,
  'sequence': 'hello, it is a pleasure to meet you.',
  'token': 10483,
  'token_str': ' pleasure'},
 {'score': 0.015089659951627254,
  'sequence': 'hello, it is a privilege to meet you.',
  'token': 9951,
  'token_str': ' privilege'},
 {'score': 0.013942377641797066,
  'sequence': 'hello, it is a joy to meet you.',
  'token': 5823,
  'token_str': ' joy'},
 {'score': 0.006964420434087515,
  'sequence': 'hello, it is a delight to meet you.',
  'token': 13213,
  'token_str': ' delight'},
 {'score': 0.0024567877408117056,
  'sequence': 'hello, it is a honour to meet you.',
  'token': 6671,
  'token_str': ' honour'}]

安装说明

运行上述命令前，请确保执行!pip install transformers安装transformers库。

偏差与局限性

该部分内容正在完善中。