🚀 俄语句子语义相似度评估模型

本项目提供的模型可用于评估俄语句子之间的语义相似度，解决了俄语句子语义相似度评估的难题，为俄语自然语言处理相关任务提供了有力支持。

🚀 快速开始

这是一个基于 ruBERT-conversational 的模型，在3个释义检测数据集的混合数据上进行了训练：

• ru_paraphraser（将 -1 和 0 类合并）
• RuPAWS
• 一个包含由 Dementieva 等人，2022 进行的俄语文本去毒内容保留众包评估的数据集。

该模型可用于评估俄语句子的语义相似度。

✨ 主要特性

• 基于 ruBERT-conversational 模型进行训练，具有较好的语义理解能力。
• 在多个释义检测数据集上进行训练，能更准确地评估俄语句子的语义相似度。

📚 详细文档

训练信息

• 训练笔记本：task_oriented_TST/similarity/cross_encoders/russian/train_russian_paraphrase_detector__fixed.ipynb（在私有仓库中）。
• 训练参数：
  • 优化器：Adam
  • lr=1e-5
  • batch_size=32
  • epochs=3

开发数据上的 ROC AUC

source         score
detox          0.821665
paraphraser    0.848287
rupaws_qqp     0.761481
rupaws_wiki    0.844093

相关参考

另请参阅 SkolkovoInstitute/ruRoberta-large-paraphrase-v1 的文档，该模型在这项任务上表现更佳。