许可证: MIT

这是一个基于RoBERTa的博多语配置模型。 它不包含预训练模型的检查点，仅包含两项内容：

• 博多语的字节级BPE分词器
• RoBERTa基础配置

使用方法

您可以按以下方式使用分词器：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('alayaran/bodo-roberta-base')

t = tokenizer('कौटि नख'राव दैनि कानेक्सन होबाय')

# {'input_ids': [310, 294, 313, 267, 503, 11, 268, 263, 277, 298, 287, 265, 267, 321, 263, 265, 272, 310, 273, 378, 295, 266, 271, 263, 269], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
# 解码示例

tokenizer.decode(t['input_ids'],skip_special_tokens=True)

# "कौटि नख'राव दैनि कानेक्सन होबाय"