语言: gu

古吉拉特语-XLM-R-基础模型

该模型基于XLM-RoBERTa（XLM-R）的基础变体，使用古吉拉特语和OSCAR单语数据集进行微调。我们采用了与预训练XLM-R相同的掩码语言建模（MLM）目标。由于该模型建立在预训练的XLM-R之上，我们通过利用其父模型的知识实现了迁移学习。

数据集

OSCAR语料库包含多种语言的不同数据集。我们遵循了CamemBERT的工作，他们报告称，与其他大型同质数据集相比，这种多样化数据集的性能更好。

预处理和训练过程

详细步骤请访问此链接。

用途

• 该模型可用于针对古吉拉特语的不同自然语言处理任务进行进一步微调。
• 可用于生成古吉拉特语单词的上下文相关词表示。
• 可用于领域适应。
• 可用于预测古吉拉特语句子中的缺失单词。

演示

使用模型预测缺失单词

from transformers import pipeline
unmasker = pipeline('fill-mask', model='ashwani-tanwar/Gujarati-XLM-R-Base')
pred_word = unmasker("અમદાવાદ એ ગુજરાતનું એક <mask> છે.")
print(pred_word) 

[{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક શહેર છે.</s>', 'score': 0.9463568329811096, 'token': 85227, 'token_str': '▁શહેર'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક ગામ છે.</s>', 'score': 0.013311690650880337, 'token': 66346, 'token_str': '▁ગામ'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એકનગર છે.</s>', 'score': 0.012945962138473988, 'token': 69702, 'token_str': 'નગર'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક સ્થળ છે.</s>', 'score': 0.0045941537246108055, 'token': 135436, 'token_str': '▁સ્થળ'}, 
{'sequence': '<s> અમદાવાદ એ ગુજરાતનું એક મહત્વ છે.</s>', 'score': 0.00402021361514926, 'token': 126763, 'token_str': '▁મહત્વ'}]

使用模型生成上下文相关词表示

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("ashwani-tanwar/Gujarati-XLM-R-Base")
model = AutoModel.from_pretrained("ashwani-tanwar/Gujarati-XLM-R-Base")
sentence = "અમદાવાદ એ ગુજરાતનું એક શહેર છે."
encoded_sentence = tokenizer(sentence, return_tensors='pt')
context_word_rep = model(**encoded_sentence)