语言: bn 标签:

• bert
• 孟加拉语
• 孟加拉语语言模型
• 孟加拉文 许可证: mit 数据集:
• common_crawl
• wikipedia
• oscar

Bangla BERT 基础版

经过漫长的努力，我们的Bangla-Bert终于问世！现在它已在Hugging Face模型中心上线。

Bangla-Bert-Base是一个基于BERT论文描述的掩码语言建模方法预训练的孟加拉语语言模型，其GitHub仓库提供了更多细节。

预训练语料详情

语料主要来源于两个渠道：

• 从OSCAR下载的孟加拉语CommonCrawl语料
• 孟加拉语维基百科转储数据集

获取这些语料后，我们将其预处理为BERT格式：每行一个句子，文档间用空行分隔。

句子1
句子2

句子1
句子2

词汇表构建

我们使用BNLP工具包训练了包含102025个词汇的孟加拉语句子片段模型，并将输出词汇表预处理为BERT格式。最终词汇表文件可在GitHub和Hugging Face模型中心获取。

训练细节

• 基于Google BERT官方代码库训练
• 当前模型架构遵循bert-base-uncased（12层/768隐藏层/12头/1.1亿参数）
• 总训练步数：100万步
• 使用单块Google Cloud GPU完成训练

评估结果

语言模型评估

百万步训练后的评估指标：

全局步数 = 1000000
损失值 = 2.2406516
掩码语言准确率 = 0.60641736
掩码语言损失 = 2.201459
下一句预测准确率 = 0.98625
下一句预测损失 = 0.040997364
困惑度 = numpy.exp(2.2406516) = 9.393331287442784
最终步损失 = 2.426227

下游任务评估

• 孟加拉语分类基准测试

特别感谢Nick Doiron提供的分类任务评估结果。使用孟加拉语分类基准数据集测试表明，相比孟加拉语ELECTRA和多语言BERT，Bangla BERT Base取得了最先进的结果。评估脚本

• Wikiann数据集评估

在5轮训练后，与mBERT、XLM-R、Indic-BERT等模型对比：

完整评估结果参见此处

相关研究论文：

• DeepHateExplainer: 资源受限的孟加拉语中可解释仇恨言论检测
• 基于Transformer的资源受限语言情感分类方法
• 孟加拉语自然语言处理任务及Transformer模型应用综述

注：若您将此模型用于NLP任务，请分享评估结果以便我们补充。

使用指南

分词器示例

from transformers import AutoTokenizer
bnbert_tokenizer = AutoTokenizer.from_pretrained("sagorsarker/bangla-bert-base")
text = "আমি বাংলায় গান গাই।"
bnbert_tokenizer.tokenize(text)
# 输出: ['আমি', 'বাংলা', '##য', 'গান', 'গাই', '।']

掩码预测

from transformers import pipeline
nlp = pipeline('fill-mask', model="sagorsarker/bangla-bert-base")
for pred in nlp(f"আমি বাংলায় {nlp.tokenizer.mask_token} গাই।"):
    print(pred)
# 示例输出: {'sequence': '[CLS] আমি বাংলায গান গাই । [SEP]', 'score': 0.134, 'token_str': 'গান'}

作者

Sagor Sarker

引用

若本模型对您有帮助，请引用：

@misc{Sagor_2020,
  title   = {BanglaBERT: 孟加拉语理解专用掩码语言模型},
  author  = {Sagor Sarker},
  year    = {2020},
  url     = {https://github.com/sagorbrur/bangla-bert}
}