NepaliBERT（第一阶段）

NEPALIBERT 是一个基于BERT模型的先进尼泊尔语语言模型。该模型采用掩码语言建模（MLM）方法进行训练。

加载模型与分词器

1. 克隆模型仓库

git lfs install  
git clone https://huggingface.co/Rajan/NepaliBERT  

2. 加载分词器

from transformers import BertTokenizer  
vocab_file_dir = './NepaliBERT/'  
tokenizer = BertTokenizer.from_pretrained(vocab_file_dir,  
                                        strip_accents=False,  
                                         clean_text=False )  

3. 加载模型

from transformers import BertForMaskedLM  
model = BertForMaskedLM.from_pretrained('./NepaliBERT')  

验证语言模型是否学习到有效信息的最简单方式是使用 FillMaskPipeline。

Pipeline是分词器与模型的简易封装工具，'fill-mask'功能允许输入含掩码标记（如[mask]）的序列，并返回最可能的填充序列列表及其概率。

from transformers import pipeline  

fill_mask = pipeline(  
    "fill-mask",  
    model=model,  
    tokenizer=tokenizer  
)  

更多信息请访问 GITHUB🤗