language:

• ru
• en

这是一款专为俄语设计的微型Longformer模型。该模型基于cointegrated/rubert-tiny2权重初始化，并经过改进以支持长达16384个标记的上下文长度。我们在俄语书籍、新闻、维基和Habr内容的数据集上对其进行了微调，得益于基础模型，它仍能理解英语。详细信息请参阅我们在Habr上发布的文章。

模型特性：

• 12个注意力头
• 3个隐藏层
• 16384标记的上下文长度

该模型可直接用于生成文本嵌入，也可针对特定下游任务进行进一步微调。

生成文本嵌入的方法如下：

# pip install transformers sentencepiece
import torch
from transformers import LongformerModel, LongformerTokenizerFast

model = LongformerModel.from_pretrained('kazzand/ru-longformer-tiny-16384')
tokenizer = LongformerTokenizerFast.from_pretrained('kazzand/ru-longformer-tiny-16384')

def get_cls_embedding(text, model, tokenizer, device='cuda'):
    model.to(device)
    batch = tokenizer(text, return_tensors='pt')

    #为cls标记设置全局注意力
    global_attention_mask = [
            [1 if token_id == tokenizer.cls_token_id else 0 for token_id in input_ids]
            for input_ids in batch["input_ids"]
        ]

    #将全局注意力掩码添加到批次中
    batch["global_attention_mask"] = torch.tensor(global_attention_mask)

    with torch.no_grad():
        output = model(**batch.to(device))
    return output.last_hidden_state[:,0,:]

注：感谢AbstractDL在精神和技术上的支持