XLM-RoBERTa-base 是一个基于 RoBERTa 架构的多语言预训练模型，支持俄语和英语，适用于文本分类任务。

SciRus-tiny 是一个用于获取俄语和英语科学文本嵌入向量的微型模型，基于 eLibrary 数据训练，采用对比学习技术。

这是一个基于XLM-RoBERTa架构的预训练模型，采用掩码语言建模目标训练，并在英语和俄语问答数据集上进行了微调。