该模型可用于句子压缩（即抽取式句子摘要生成）。

它能预测句子中的每个单词是否可以在不影响核心语义的前提下被删除。

生成的句子可能不符合语法规范，但仍具备实用价值。

该模型基于rubert-tiny2架构，并在论文《俄语句子压缩：数据集与基线》提供的数据集（下载地址）上进行了微调。

使用示例：

import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
model_name = 'cointegrated/rubert-tiny2-sentence-compression'
model = AutoModelForTokenClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)


def compress(text, threshold=0.5, keep_ratio=None):
    """ 通过删除最不重要的单词来压缩句子
    参数:
        threshold: 单词删除概率的阈值
        keep_ratio: 需保留单词的比例
    默认使用0.5作为阈值
    """
    with torch.inference_mode():
        tok = tokenizer(text, return_tensors='pt').to(model.device)
        proba = torch.softmax(model(**tok).logits, -1).cpu().numpy()[0, :, 1]
    if keep_ratio is not None:
        threshold = sorted(proba)[int(len(proba) * keep_ratio)]
    kept_toks = []
    keep = False
    prev_word_id = None
    for word_id, score, token in zip(tok.word_ids(), proba, tok.input_ids[0]):
        if word_id is None:
            keep = True
        elif word_id != prev_word_id:
            keep = score < threshold
        if keep:
            kept_toks.append(token)
        prev_word_id = word_id
    return tokenizer.decode(kept_toks, skip_special_tokens=True)


text = 'Кроме того, можно взять идею, рожденную из сердца, и выразить ее в рамках одной '\
    'из этих структур, без потери искренности идеи и смысла песни.'
    
print(compress(text))
print(compress(text, threshold=0.3))
print(compress(text, threshold=0.1))
# 可以保留源自内心的想法，并将其表达为这些结构之一。
# 可以保留源自内心的想法 表达为这些结构之一。
# 可以保留想法 表达 结构。

print(compress(text, keep_ratio=0.5))
# 可以保留源自内心的想法 表达为结构。