🚀 sage-v1.1.0

sage-v1.1.0 模型可将文本中的所有单词规范为俄语标准形式，从而纠正拼写、标点错误和打字错误。该模型基于 FRED-T5-1.7B 模型训练而来，具有较高的准确性和实用性。

🚀 快速开始

本模型可有效纠正俄语文本中的拼写和标点错误，将文本中的所有单词规范为俄语标准形式。模型基于 FRED-T5-1.7B 进行训练，使用了包含“人工”错误的大型数据集，该数据集基于俄语维基百科和俄语视频转录本构建，并使用 SAGE 库自动引入了拼写错误和打字错误。

代码示例

import re
import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B")
model = T5ForConditionalGeneration.from_pretrained("ai-forever/sage-v1.1.0")

model.to('cuda')

tokenizer_config = {
            'max_length': None,
            'padding': 'longest',
            'truncation': False,
            "return_tensors": "pt",
        }

def inference(sentence):
    text = "<LM>" + sentence
    with torch.inference_mode():
        encodings = tokenizer(text, **tokenizer_config)
        for k, v in encodings.items():
            encodings[k] = v.to('cuda:0')
        res = model.generate(
            **encodings,
            use_cache=True,
            max_length = encodings['input_ids'].size(1) * 1.5
        )
        res = res.cpu().tolist()
        res = tokenizer.batch_decode(res, skip_special_tokens=True)
    return res

text = 'Првет какдила'
text = re.sub(r'\n+', '\n', text)
print(inference(text))

# ['Привет, как дела?']

✨ 主要特性

• 拼写和标点纠错：能够准确识别并纠正俄语文本中的拼写和标点错误。
• 基于大型模型训练：以 FRED-T5-1.7B 为基础，保证了模型的性能和准确性。
• 使用广泛数据集：训练数据来自俄语维基百科和视频转录本，涵盖了丰富的语言场景。

💻 使用示例

基础用法

以下是使用模型进行文本纠错的基本示例：

import re
import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B")
model = T5ForConditionalGeneration.from_pretrained("ai-forever/sage-v1.1.0")

model.to('cuda')

tokenizer_config = {
            'max_length': None,
            'padding': 'longest',
            'truncation': False,
            "return_tensors": "pt",
        }

def inference(sentence):
    text = "<LM>" + sentence
    with torch.inference_mode():
        encodings = tokenizer(text, **tokenizer_config)
        for k, v in encodings.items():
            encodings[k] = v.to('cuda:0')
        res = model.generate(
            **encodings,
            use_cache=True,
            max_length = encodings['input_ids'].size(1) * 1.5
        )
        res = res.cpu().tolist()
        res = tokenizer.batch_decode(res, skip_special_tokens=True)
    return res

text = 'Првет какдила'
text = re.sub(r'\n+', '\n', text)
print(inference(text))

# ['Привет, как дела?']

📚 详细文档

公开引用

• SAGE 库公告，DataFest 2023
• 关于合成错误生成方法的论文，Dialogue 2023
• SAGE EACL 2024 论文

示例

指标

质量

以下是用于确定拼写检查器正确性的自动指标。我们在四个可用数据集上，将本解决方案与开源自动拼写检查器以及 ChatGPT 系列模型进行了比较：

• RUSpellRU：从 LiveJournal 收集的文本，其中的拼写错误和打字错误已手动纠正。
• MultidomainGold：来自 7 个文本来源的示例，包括开放网络、新闻、社交媒体、评论、字幕、政策文件和文学作品。
• MedSpellChecker：包含医疗病历中错误的文本。
• GitHubTypoCorpusRu：来自 GitHub 提交记录中的拼写错误和打字错误。

RUSpellRU

MultidomainGold

MedSpellChecker

GitHubTypoCorpusRu

🔧 技术细节

资源

• SAGE 库，GitHub
• sage-fredt5-large，HuggingFace
• sage-fredt5-distilled-95m，HuggingFace
• sage-m2m100-1.2B，HuggingFace
• sage-mt5-large，HuggingFace

规格

📄 许可证

本项目采用 MIT 许可证。

📞 联系方式

如有任何问题或建议，可通过以下邮箱联系我们：nikita.martynov.98@list.ru