pipeline_tag: 句子相似度
tags:

• sentence-transformers
• 特征提取
• 句子相似度
• transformers

CrisisTransformers

CrisisTransformers是一系列预训练语言模型和句子编码器，首次发表于论文《CrisisTransformers：面向危机相关社交媒体文本的预训练语言模型与句子编码器》和《面向危机相关社交媒体文本的语义增强跨语言句子嵌入》。这些模型基于RoBERTa预训练流程，在包含150亿词标记的庞大数据集上训练而成，数据源自30多类危机事件（如疾病暴发、自然灾害、冲突等）的相关推文。更多细节请参阅相关论文。

CrisisTransformers在18个公开危机专项数据集上进行了基准测试。我们的预训练模型在分类任务中全面超越基线模型，最佳单语种句子编码器的性能较现有技术提升超过17%。多语言句子编码器（支持50+种语言，见相关论文）的设计目标是逼近最佳单语种编码器的嵌入空间表现。

应用场景

CrisisTransformers包含8个预训练模型、1个单语种和2个多语言句子编码器。预训练模型需像BERT和RoBERTa一样进行下游任务微调。句子编码器可像Sentence-Transformers直接用于句子嵌入，支持语义搜索、聚类、主题建模等任务。

模型与命名规则

CT-M1系列从零开始训练40轮，CT-M2基于预训练RoBERTa权重初始化，CT-M3基于BERTweet权重初始化，后两者均训练20轮。OneLook表示首轮检查点，BestLoss为训练损失最低点，Complete为最终检查点。SE代表句子编码器。

多语言句子编码器支持语言：阿尔巴尼亚语、阿拉伯语、亚美尼亚语、保加利亚语、加泰罗尼亚语、简体中文、繁体中文、克罗地亚语、捷克语、丹麦语、荷兰语、爱沙尼亚语、芬兰语、法语（含加拿大法语）、加利西亚语、格鲁吉亚语、德语、希腊语、古吉拉特语、希伯来语、印地语、匈牙利语、印尼语、意大利语、日语、韩语、库尔德语（索拉尼方言）、拉脱维亚语、立陶宛语、马其顿语、马来语、马拉地语、蒙古语、缅甸语、挪威语、波斯语、波兰语、葡萄牙语（含巴西葡萄牙语）、罗马尼亚语、俄语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语、泰语、土耳其语、乌克兰语、乌尔都语、越南语。

引用规范

使用CrisisTransformers单语种句子编码器请引用：

@article{lamsal2023crisistransformers,
      title={CrisisTransformers：面向危机相关社交媒体文本的预训练语言模型与句子编码器}, 
      author={Rabindra Lamsal 和 Maria Rodriguez Read 和 Shanika Karunasekera},
      journal={基于知识的系统},
      pages={111916},
      year={2024},
      publisher={Elsevier}
}

使用多语言句子编码器请引用：

@article{lamsal2024semantically,
      title={面向危机相关社交媒体文本的语义增强跨语言句子嵌入}, 
      author={Rabindra Lamsal 和 Maria Rodriguez Read 和 Shanika Karunasekera},
      year={2024},
      eprint={2403.16614},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}