language: zh widget:

• text: "大脑是一台推理机器，试图预测中的误差。" example_title: "brain_example"
• text: "永远不要和傻瓜争论，降到他们的水平，在那里他们会用经验碾压你。" example_title: "idiot_example"

基于TAIGA语料库部分数据训练的类RoBERTa语言模型

训练详情

• 约6万步训练

使用示例

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("大脑是一台<mask>机器，试图降低预测中的误差。")

# {
#     'sequence': '<s>大脑是一台城市机器，试图降低预测中的误差。</s>',
#     'score': 0.012859329581260681,
#     'token': 2144,
#     'token_str': 'Ġ城市'
# },
# {
#     'sequence': '<s>大脑是一台人类机器，试图降低预测中的误差。</s>',
#     'score': 0.01185101643204689,
#     'token': 1470,
#     'token_str': 'Ġ人类'
# },
# {
#     'sequence': '<s>大脑是一台房屋机器，试图降低预测中的误差。</s>',
#     'score': 0.009940559044480324,
#     'token': 1411,
#     'token_str': 'Ġ房屋'
# },
# {
#     'sequence': '<s>大脑是一台女性机器，试图降低预测中的误差。</s>',
#     'score': 0.007794599514454603,
#     'token': 2707,
#     'token_str': 'Ġ女性'
# },
# {
#     'sequence': '<s>大脑是一台妇女机器，试图降低预测中的误差。</s>',
#     'score': 0.007725382689386606,
#     'token': 3546,
#     'token_str': 'Ġ妇女'
# }