language:

• ru

rubert-base-cased-conversational

对话版RuBERT（俄语，区分大小写，12层，768隐藏单元，12头注意力机制，1.8亿参数）基于OpenSubtitles[1]、Dirty、Pikabu及Taiga语料库[2]的社交媒体板块训练而成。我们为此模型构建了新词表，并以RuBERT为基础进行初始化。

2021年11月8日：更新带有MLM（掩码语言建模）和NSP（下一句预测）任务头的模型版本

[1]: P. Lison与J. Tiedemann, 2016年, 《OpenSubtitles2016：从影视字幕中提取大规模平行语料库》, 第十届国际语言资源与评估会议论文集 (LREC 2016)

[2]: Shavrina T.与Shapovalova O. (2017) 《面向机器学习的语料库构建方法论：Taiga句法树库与解析器》, 收录于《CORPORA2017》国际会议论文集, 圣彼得堡, 2017年。