关于

IndoBERT是印尼语版本的BERT模型。我们使用超过2.2亿词训练该模型，数据来源于三大主要渠道：

• 印尼语维基百科（7400万词）
• 来自Kompas、Tempo（Tala等，2003年）和Liputan6的新闻文章（总计5500万词）
• 印尼语网络语料库（Medved和Suchomel，2017年）（9000万词）。

我们对该模型进行了240万步（180个周期）的训练，最终在开发集上的困惑度为3.97（与英语BERT基础版相当）。

此IndoBERT模型用于评估IndoLEM——一个涵盖印尼语形态句法、语义和篇章七个任务的基准测试集。

该论文发表于第28届COLING 2020会议。更多基准测试详情请访问https://indolem.github.io。

使用方法

加载模型与分词器（基于transformers==3.5.1测试）

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("indolem/indobert-base-uncased")
model = AutoModel.from_pretrained("indolem/indobert-base-uncased")

引用

若使用我们的成果，请引用：

@inproceedings{koto2020indolem,
  title={IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP},
  author={Fajri Koto and Afshin Rahimi and Jey Han Lau and Timothy Baldwin},
  booktitle={Proceedings of the 28th COLING},
  year={2020}
}