语言:

• 俄语 许可证: MIT 库名称: transformers 标签:
• 拼写检查
• PyTorch
• 自然语言生成 评估指标:
• 精确率
• 召回率
• F1值 模型索引:
• 名称: sage-fredt5-large 结果:
  • 任务: 类型: 文本生成 数据集: 名称: RUSpellRU (拼写&标点) 类型: 拼写检查基准 指标:
    • 类型: 拼写F1 值: 88.2 名称: F1 (拼写) 已验证: 否
    • 类型: 标点F1 值: 88.4 名称: F1 (标点) 已验证: 否
    • 类型: 大小写F1 值: 95.6 名称: F1 (大小写) 已验证: 否
    • 类型: 拼写F1 值: 79.6 名称: F1 (拼写) 已验证: 否
    • 类型: 标点F1 值: 68.8 名称: F1 (标点) 已验证: 否
    • 类型: 大小写F1 值: 80.5 名称: F1 (大小写) 已验证: 否
    • 类型: 拼写F1 值: 72.4 名称: F1 (拼写) 已验证: 否
    • 类型: 标点F1 值: 72.0 名称: F1 (标点) 已验证: 否
    • 类型: 大小写F1 值: 76.6 名称: F1 (大小写) 已验证: 否
    • 类型: 拼写F1 值: 62.7 名称: F1 (拼写) 已验证: 否
    • 类型: 标点F1 值: 41.4 名称: F1 (标点) 已验证: 否
    • 类型: 大小写F1 值: 38.1 名称: F1 (大小写) 已验证: 否

sage-v1.1.0

概述

该模型通过将文本中的所有单词规范为俄语标准形式，纠正拼写、标点错误和打字错误。纠错器基于FRED-T5-1.7B模型训练而成。训练语料库采用了包含“人工”错误的广泛数据集：该数据集基于俄语维基百科和俄语视频转录文本构建，然后使用SAGE库自动引入打字错误和拼写错误。

公开参考

• SAGE库发布公告，DataFest 2023
• 关于合成错误生成方法的论文，Dialogue 2023
• SAGE EACL 2024论文

示例

评估指标

质量

以下是用于确定拼写检查器正确性的自动评估指标。我们将我们的解决方案与开源自动拼写检查器以及ChatGPT系列模型在四个可用数据集上进行比较：

• RUSpellRU：从LiveJournal收集的文本，包含手动修正的打字错误和拼写错误；
• MultidomainGold：来自7种文本来源的示例，包括开放网络、新闻、社交媒体、评论、字幕、政策文件和文学作品；
• MedSpellChecker：来自医疗病历的错误文本；
• GitHubTypoCorpusRu：GitHub提交中的拼写错误和打字错误；

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

使用方法

import re
import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B")
model = T5ForConditionalGeneration.from_pretrained("ai-forever/sage-v1.1.0")

model.to('cuda')

tokenizer_config = {
            'max_length': None,
            'padding': 'longest',
            'truncation': False,
            "return_tensors": "pt",
        }

def inference(sentence):
    text = "<LM>" + sentence
    with torch.inference_mode():
        encodings = tokenizer(text, **tokenizer_config)
        for k, v in encodings.items():
            encodings[k] = v.to('cuda:0')
        res = model.generate(
            **encodings,
            use_cache=True,
            max_length = encodings['input_ids'].size(1) * 1.5
        )
        res = res.cpu().tolist()
        res = tokenizer.batch_decode(res, skip_special_tokens=True)
    return res

text = 'Првет какдила'
text = re.sub(r'\n+', '\n', text)
print(inference(text))

# ['Привет, как дела?']

资源

• SAGE库，GitHub
• sage-fredt5-large，HuggingFace
• [sage-fredt