🚀 RuModernBERT-small

RuModernBERT-small 是现代化双向仅编码器 Transformer 模型 ModernBERT 的俄语版本。该模型在约 2 万亿个俄语、英语和代码数据的标记上进行了预训练，上下文长度可达 8192 个标记，使用的数据来自互联网、书籍、科学资源和社交媒体。

🚀 快速开始

不要忘记更新 transformers 库，如果你的 GPU 支持，还需安装 flash-attn。

from transformers import AutoTokenizer, AutoModelForMaskedLM

# 准备模型
model_id = "deepvk/RuModernBERT-small"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, attn_implementation="flash_attention_2")
model = model.eval()

# 准备输入
text = "Мама мыла [MASK]."
inputs = tokenizer(text, return_tensors="pt")
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)

# 进行预测
outputs = model(**inputs)

# 显示预测结果
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# 预测的标记:  посуду

✨ 主要特性

• 俄语版本的现代化双向仅编码器 Transformer 模型。
• 在约 2 万亿个俄语、英语和代码数据的标记上进行预训练。
• 上下文长度可达 8192 个标记。

📦 安装指南

请确保更新 transformers 库，如果你的 GPU 支持，还需安装 flash-attn。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

# 准备模型
model_id = "deepvk/RuModernBERT-small"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, attn_implementation="flash_attention_2")
model = model.eval()

# 准备输入
text = "Мама мыла [MASK]."
inputs = tokenizer(text, return_tensors="pt")
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)

# 进行预测
outputs = model(**inputs)

# 显示预测结果
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# 预测的标记:  посуду

高级用法

暂未提供高级用法示例。

📚 详细文档

模型参数

训练细节

分词器

我们按照原始配置训练了一个新的分词器。我们保持了词表的大小，并添加了相同的特殊标记。该分词器在 FineWeb 中的俄语和英语混合数据上进行了训练。

数据集

预训练包括三个主要阶段：大规模预训练、上下文扩展和冷却阶段。与原始模型不同，我们在所有阶段没有使用相同的数据。在第二和第三阶段，我们使用了更干净的数据源。

上下文长度

在第一阶段，模型在上下文长度为 1024 的情况下进行训练。在第二和第三阶段，上下文长度扩展到 8192。

评估

为了评估模型，我们在 encodechka 和 Russian Super Glue (RSG) 基准测试上进行了质量评估。对于 RSG，我们进行了网格搜索以找到最佳超参数，并报告了 开发集 的指标。

为了进行公平比较，我们仅将 RuModernBERT 模型与未在检索或句子嵌入任务上进行训练的原始编码器进行比较。

Russian Super Glue

Encodechka

🔧 技术细节

RuModernBERT-small 是基于 ModernBERT 架构的俄语版本模型。它在大规模的俄语、英语和代码数据上进行了预训练，使用了多种数据源，包括互联网、书籍、科学资源和社交媒体。模型的上下文长度可达 8192 个标记，通过三个阶段的预训练过程进行优化。

📄 许可证

本项目采用 Apache-2.0 许可证。

📖 引用

@misc{deepvk2025rumodernbert,
    title={RuModernBERT: Modernized BERT for Russian},
    author={Spirin, Egor and Malashenko, Boris and Sokolov Andrey},
    url={https://huggingface.co/deepvk/rumodernbert-base},
    publisher={Hugging Face}
    year={2025},
}