许可证: mit
语言:

• tr

🇹🇷 土耳其语RoBERTa模型

模型描述

这是一个基于土耳其语的RoBERTa基础模型，预训练数据来源于土耳其语维基百科、土耳其语OSCAR语料库以及部分新闻网站。

最终训练语料库规模达38GB，包含329,720,508个句子。

作为Turkcell公司，我们在以下硬件配置上完成了模型训练：

• 处理器：Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz
• 内存：256GB
• 显卡：2 x GV100GL [Tesla V100 PCIe 32GB]
• 训练步数：250万步

使用方法

通过以下代码加载transformers库：

from transformers import AutoTokenizer, AutoModelForMaskedLM  

tokenizer = AutoTokenizer.from_pretrained("TURKCELL/roberta-base-turkish-uncased")  
model = AutoModelForMaskedLM.from_pretrained("TURKCELL/roberta-base-turkish-uncased")  

填空任务示例

from transformers import pipeline  

fill_mask = pipeline(  
    "fill-mask",  
    model="TURKCELL/roberta-base-turkish-uncased",  
    tokenizer="TURKCELL/roberta-base-turkish-uncased"  
)  

fill_mask("iki ülke arasında <mask> başladı")  

[{'sequence': 'iki ülke arasında savaş başladı',  
  'score': 0.3013845384120941,  
  'token': 1359,  
  'token_str': ' savaş'},  
 {'sequence': 'iki ülke arasında müzakereler başladı',  
  'score': 0.1058429479598999,  
  'token': 30439,  
  'token_str': ' müzakereler'},  
 {'sequence': 'iki ülke arasında görüşmeler başladı',  
  'score': 0.07718811184167862,  
  'token': 4916,  
  'token_str': ' görüşmeler'},  
 {'sequence': 'iki ülke arasında kriz başladı',  
  'score': 0.07174749672412872,  
  'token': 3908,  
  'token_str': ' kriz'},  
 {'sequence': 'iki ülke arasında çatışmalar başladı',  
  'score': 0.05678590387105942,  
  'token': 19346,  
  'token_str': ' çatışmalar'}]