许可证：Apache-2.0
支持语言：

• 俄语
• 英语

库名称：transformers
任务标签：特征提取

DeBERTa蒸馏版

针对俄语预训练的双向编码器模型。该模型通过标准掩码语言建模目标在大规模文本语料（含开放社交数据）上训练完成。更多细节请参阅"训练详情"章节。

⚠️ 此模型仅包含编码器部分，未搭载任何预训练头部模块。

• 开发团队：deepvk
• 模型类型：DeBERTa架构
• 支持语言：以俄语为主，含少量其他语言
• 许可协议：Apache 2.0

快速使用指南

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-distill")
model = AutoModel.from_pretrained("deepvk/deberta-v1-distill")

text = "Привет, мир!"  # 俄语"你好，世界！"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

训练详情

训练数据

总计400GB经过过滤与去重的混合文本数据，包含：维基百科、书籍、推特评论、Pikabu论坛、Proza.ru文学网、影视字幕、新闻网站及社交语料库。

去重流程

1. 计算5字符大小的shingle指纹
2. 使用100种子生成MinHash → 每个文本生成100维哈希值
3. 将哈希值分10桶 → 每桶(100/10)=10个数值生成次级哈希 → 最终每个样本产生10个哈希
4. 逐桶查重：哈希值相同的样本计算杰卡德相似度 → >0.7视为重复
5. 聚合所有桶的重复结果并过滤

训练超参数

使用8块A100显卡训练约15天完成。

架构参数

蒸馏过程

采用SANH等人的蒸馏方法，学生模型通过间隔抽取教师模型层初始化。MLM损失与CE损失系数均为0.5。

性能评估

基于Russian Super Glue开发集测试，各任务最佳结果以粗体标注。除蒸馏版DeBERTa外，所有对比模型尺寸相同。