语言: 英文

标签:

• 句子嵌入
• 句子相似度

cambridgeltl/mirror-roberta-base-sentence-drophead

由刘等人(2021)提出的无监督句子编码器，采用drophead而非dropout作为特征空间增强手段。该模型使用未标注的原始句子进行训练，并以roberta-base作为基础模型。请使用[CLS]标记（在池化层之前）作为输入句子的表征。

请注意，该模型未完全复现论文中的精确数值，因为论文报告的数据为三次运行的平均值。

引用

@inproceedings{
	liu2021fast,
  title={快速、高效且自监督：将掩码语言模型转化为通用词汇与句子编码器},
  author={刘芳宇、伊万·武利奇、安娜·科尔霍宁、奈杰尔·科利尔},
  booktitle={EMNLP 2021},
  year={2021}
}