语言:

• 俄语 许可证: Apache-2.0

俄语文本规范化

基于FRED-T5大型820M模型的微调版本。

代码仓库。

训练数据来源于ficbook、librusec和pikabu的句子，使用改进版的word_to_number_ru包进行逆向文本规范化处理。

同时采用了Kaggle俄语文本规范化挑战赛数据以支持拉丁字符规范化。虽然数字处理性能略有下降，但成功实现了拉丁字符处理功能。可通过git checkout #8c2476b回退到仅支持数字的旧版本。

使用方法

将数字和拉丁词置于方括号内，并紧跟T5标记<extra_id_0>, <extra_id_1>等。建议始终将数字按3位分组，且方括号[ ]内尽量只包含数字和拉丁字符。

import torch
from transformers import GPT2Tokenizer, T5ForConditionalGeneration 

device='cuda'
tokenizer = GPT2Tokenizer.from_pretrained('saarus72/russian_text_normalizer', eos_token='</s>')
model = T5ForConditionalGeneration.from_pretrained('saarus72/russian_text_normalizer').to(device)
lm_text = '<SC1>Было у отца [3]<extra_id_0> сына, но не было даже [2- 3]<extra_id_1> пиджаков с блёстками за [142 990]<extra_id_2> руб.'
input_ids = torch.tensor([tokenizer.encode(lm_text)]).to(device)
outputs = model.generate(input_ids, eos_token_id=tokenizer.eos_token_id, early_stopping=True)
print(tokenizer.decode(outputs[0][1:]))
# <extra_id_0> три\n <extra_id_1> двух- трёх\n <extra_id_2> сто сорок две тысячи девятьсот девяносто\n</s>

更多示例