BERTje：荷兰语BERT模型

维特斯·德弗里斯 • 安德烈亚斯·范·克拉嫩伯格 • 阿里安娜·比萨扎 • 托马索·卡塞利 • 赫特扬·范·诺德 • 马尔维娜·尼西姆

模型描述

BERTje是由格罗宁根大学开发的荷兰语预训练BERT模型。

详情请参阅我们在arXiv上的论文、Github上的代码以及Semantic Scholar上的相关研究。

论文和Github页面提到的微调模型可在此处获取。

使用方法

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/bert-base-dutch-cased")
model = AutoModel.from_pretrained("GroNLP/bert-base-dutch-cased")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/bert-base-dutch-cased")  # Tensorflow

警告： BERTje的词汇表在2021年有所变更。如果您使用较早的微调模型，并且在使用GroNLP/bert-base-dutch-cased分词器时遇到问题，请使用以下分词器：

tokenizer = AutoTokenizer.from_pretrained("GroNLP/bert-base-dutch-cased", revision="v1")  # v1为旧版词汇表

基准测试

arXiv论文中列出了基准测试结果。以下是论文撰写后对BERTje、多语言BERT、BERT-NL和RobBERT进行的几项比较。与其他一些比较不同，这些基准测试的微调过程对每个预训练模型都是相同的。通过优化微调过程，您可能能够为个别模型获得更高的分数。

更多实验结果将在完成后添加到本页面。关于如何微调这些模型的技术细节以及可下载的微调检查点将在稍后发布。

所有测试的模型均为基础大小（12层）并采用区分大小写的分词。

下表标题链接至原始数据源。分数链接至对应特定微调模型的页面。当更多简单微调模型可用时，这些表格将更新。

命名实体识别

词性标注

BibTeX条目及引用信息

@misc{devries2019bertje,
\ttitle = {{BERTje}: {A} {Dutch} {BERT} {Model}},
\tshorttitle = {{BERTje}},
\tauthor = {de Vries, Wietse  and  van Cranenburgh, Andreas  and  Bisazza, Arianna  and  Caselli, Tommaso  and  Noord, Gertjan van  and  Nissim, Malvina},
\tyear = {2019},
\tmonth = dec,
\thowpublished = {arXiv:1912.09582},
\turl = {http://arxiv.org/abs/1912.09582},
}