语言:

• 俄语 标签:
• PyTorch
• Transformers 许可证: apache-2.0 基础模型: ai-forever/sbert_large_nlu_ru 推理: false

SbertPuncCase

SbertPuncCase 是一个用于俄语的标点符号和大小写恢复模型。该模型能够添加句号、逗号和问号； 判断大小写形式——全小写单词、首字母大写单词或全大写单词。 该模型专为语音识别后的文本恢复而设计，因此处理的是全小写字符串。 模型基于 sbert_large_nlu_ru 构建。 训练数据采用了访谈文本转写内容。

工作原理

1. 文本被转换为小写并拆分为单词。
2. 单词进一步分割为标记（token）。
3. 模型（类似于命名实体识别任务）为每个标记预测类别。共12个分类类别：3+1种标点符号 × 3种大小写形式。
4. 解码函数根据预测类别重建文本。

使用方法

模型代码位于文件 sbert-punc-case-ru/sbertpunccase.py 中。

1. 确保已安装 git-lfs。

2. 可通过以下命令快速安装：

pip install git+https://huggingface.co/kontur-ai/sbert_punc_case_ru

使用示例：

from sbert_punc_case_ru import SbertPuncCase
model = SbertPuncCase()
model.punctuate("sbert punc case 能添加句号逗号和问号 你喜欢吗")

作者

阿尔米拉·穆尔塔齐娜

亚历山大·阿布加利耶夫