🚀 RuModernBERT-base

RuModernBERT-base 是现代化双向仅编码器 Transformer 模型 ModernBERT 的俄语版本。该模型在约 2 万亿个俄语、英语和代码数据的标记上进行了预训练，上下文长度可达 8192 个标记，使用的数据来源于互联网、书籍、科学资源和社交媒体。

✨ 主要特性

• 基于现代化的双向仅编码器 Transformer 架构，适用于俄语和英语。
• 预训练数据丰富，涵盖互联网、书籍、科学资源和社交媒体等多来源。
• 上下文长度可达 8192 个标记，能处理长文本。

📦 安装指南

使用该模型前，请确保更新 transformers 库。如果你的 GPU 支持，还需安装 flash-attn。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

# 准备模型
model_id = "deepvk/RuModernBERT-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, attn_implementation="flash_attention_2")
model = model.eval()

# 准备输入
text = "Лимончелло это настойка из [MASK]."
inputs = tokenizer(text, return_tensors="pt")
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)

# 进行预测
outputs = model(**inputs)

# 显示预测结果
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# 预测结果:  лимона

📚 详细文档

模型参数对比

训练详情

分词器

我们按照原始配置训练了一个新的分词器，保持了词表大小并添加了相同的特殊标记。该分词器在 FineWeb 的俄语和英语混合数据上进行训练。

数据集

预训练包括三个主要阶段：大规模预训练、上下文扩展和冷却阶段。与原始模型不同，我们在不同阶段使用了不同的数据源。

上下文长度

在第一阶段，模型的上下文长度为 1024。在第二和第三阶段，上下文长度扩展到 8192。

评估

为了评估模型，我们在 encodechka 和 Russian Super Glue (RSG) 基准测试上进行了质量评估。对于 RSG，我们进行了超参数网格搜索，并报告了 开发集 的指标。为了进行公平比较，我们仅将 RuModernBERT 模型与未在检索或句子嵌入任务上训练的原始编码器进行比较。

Russian Super Glue

Encodechka

🔧 技术细节

• 基于 ModernBERT 架构进行俄语适配。
• 使用大规模多源数据进行预训练，提升模型的泛化能力。
• 在不同阶段调整上下文长度和数据源，优化模型性能。

📄 许可证

本项目采用 Apache - 2.0 许可证。

📚 引用

@misc{deepvk2025rumodernbert,
    title={RuModernBERT: Modernized BERT for Russian},
    author={Spirin, Egor and Malashenko, Boris and Sokolov Andrey},
    url={https://huggingface.co/deepvk/rumodernbert-base},
    publisher={Hugging Face}
    year={2025},
}