语言:

• 克丘亚语 标签:
• 拉马查

QuBERTa

QuBERTa 是一个基于RoBERTa架构的克丘亚语语言模型。我们的语言模型使用500万条南克丘亚语（科拉奥和昌卡方言）的token进行预训练。

该模型采用字节级BPE分词器，包含52000个子词单元的词汇表。

使用说明

下载模型权重和分词器后，需将其放置在统一文件夹内（本示例使用QuBERTa目录）。

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="./QuBERTa",
    tokenizer="./QuBERTa"
)

以下为测试示例（当前模型仍在优化阶段）：

fill_mask("allinllachu <mask> allinlla huk wasipita.")

[{'score': 0.23992203176021576,
 'sequence': 'allinllachu nisqaqa allinlla huk wasipita.',
 'token': 334,
 'token_str': ' nisqaqa'},
{'score': 0.061005301773548126,
 'sequence': 'allinllachu, allinlla huk wasipita.',
 'token': 16,
 'token_str': ','},
 {'score': 0.028720015659928322,
 'sequence': "allinllachu' allinlla huk wasipita.",
 'token': 11,
 'token_str': "'"},
{'score': 0.012927944771945477,
'sequence': 'allinllachu kay allinlla huk wasipita.',
'token': 377,
'token_str': ' kay'},
{'score': 0.01230092253535986,
'sequence': 'allinllachu. allinlla huk wasipita.',
 'token': 18,
'token_str': '.'}]