语言: bn
标签:

• 孟加拉语基础BERT
• 孟加拉语BERT
• 孟加拉语语言模型
• 孟加拉基础BERT
• 孟加拉BERT语言模型
• 孟加拉BERT

数据集:

• BanglaLM数据集

孟加拉基础BERT

我们在此发布了一个预训练的孟加拉语BERT语言模型——bangla-bert！该模型现已上线Hugging Face模型库。
本文介绍了基于BERT掩码语言建模方法预训练的孟加拉语模型bangla-bert，其GitHub代码库也已公开。

语料详情

我们使用Kaggle平台BanglaLM数据集训练该模型，该数据集包含约40GB的3个版本数据。下载完成后，我们进行了掩码语言建模训练。

bangla-bert分词器示例

from transformers import AutoTokenizer, AutoModel  
bnbert_tokenizer = AutoTokenizer.from_pretrained("Kowsher/bangla-bert")  
text = "খাঁটি সোনার চাইতে খাঁটি আমার দেশের মাটি"  
bnbert_tokenizer.tokenize(text)  
# 输出: ['খাটি', 'সে', '##ানার', 'চাইতে', 'খাটি', 'আমার', 'দেশের', 'মাটি']  

掩码预测功能
该模型支持掩码语言预测任务：

from transformers import BertForMaskedLM, BertTokenizer, pipeline  
model = BertForMaskedLM.from_pretrained("Kowsher/bangla-bert")  
tokenizer = BertTokenizer.from_pretrained("Kowsher/bangla-bert")  

nlp = pipeline('fill-mask', model=model, tokenizer=tokenizer)  
for pred in nlp(f"আমি বাংলার গান {nlp.tokenizer.mask_token}"):  
  print(pred)  
# 输出: {'sequence': 'আমি বাংলার গান লিখি', 'score': 0.17955434322357178, 'token': 24749, 'token_str': 'লিখি'}  

for pred in nlp(f"তুই রাজাকার তুই {nlp.tokenizer.mask_token}"):  
  print(pred)  
# 输出: {'sequence': 'তুই রাজাকার তুই রাজাকার', 'score': 0.9975168704986572, 'token': 13401, 'token_str': 'রাজাকার'}  

for pred in nlp(f"বাংলা আমার {nlp.tokenizer.mask_token}"):  
  print(pred)  
# 输出: {'sequence': 'বাংলা আমার অহংকার', 'score': 0.5679506063461304, 'token': 19009, 'token_str': 'অহংকার'}  

文献引用
M. Kowsher, A. A. Sami, N. J. Prottasha, M. S. Arefin, P. K. Dhar 和 T. Koshiba 在2022年IEEE Access期刊发表的论文《Bangla-BERT: Transformer-based Efficient Model for Transfer Learning and Language Understanding》，DOI: 10.1109/ACCESS.2022.3197662。

作者

Kowsher