language: ar
tags:

• roberta
• 语言模型
  datasets:
• oscar

TavBERT 基础模型

一种基于字符级别的阿拉伯语BERT风格掩码语言模型，通过掩码字符片段进行预训练，类似于SpanBERT（Joshi等人，2020）。

使用方法

import numpy as np  
import torch  
from transformers import AutoModelForMaskedLM, AutoTokenizer  

model = AutoModelForMaskedLM.from_pretrained("tau/tavbert-ar")  
tokenizer = AutoTokenizer.from_pretrained("tau/tavbert-ar")  

def mask_sentence(sent, span_len=5):  
    start_pos = np.random.randint(0, len(sent) - span_len)  
    masked_sent = sent[:start_pos] + '[MASK]' * span_len + sent[start_pos + span_len:]  
    print("掩码后的句子:", masked_sent)  
    output = model(**tokenizer.encode_plus(masked_sent,   
                                           return_tensors='pt'))['logits'][0][1:-1]  
    preds = [int(x) for x in torch.argmax(torch.softmax(output, axis=1), axis=1)[start_pos:start_pos + span_len]]  
    pred_sent = sent[:start_pos] + ''.join(tokenizer.convert_ids_to_tokens(preds)) + sent[start_pos + span_len:]  
    print("模型预测结果:", pred_sent)  

训练数据

OSCAR（Ortiz，2019）阿拉伯语部分（32 GB文本，6700万条句子）。