快速入门

1.0版本发布（2019年11月25日）

我们通常推荐使用区分大小写的模型。

介绍芬兰语BERT的论文：arXiv:1912.07076

这是什么？

这是谷歌BERT深度学习迁移学习模型的芬兰语版本。该模型可以通过微调，在各种芬兰语自然语言处理任务中达到最先进的性能。

FinBERT采用了一个包含50,000个词片段的定制词汇表，相比谷歌之前发布的多语言BERT模型，对芬兰语词汇的覆盖要好得多：

FinBERT已在超过30亿个芬兰语文本标记（240亿字符）上进行了100万步的预训练，这些文本来自新闻、在线讨论和网络爬取。相比之下，多语言BERT仅在维基百科文本上训练，其中芬兰语维基百科的文本量仅为FinBERT训练数据的约3%。

这些特性使得FinBERT在经过微调后，不仅在芬兰语自然语言处理任务上超越了多语言BERT，还超越了所有先前提出的模型。

性能表现

文档分类

在Yle新闻（左）和Ylilauta在线讨论（右）语料库上，FinBERT在不同训练集规模下的文档分类任务中均优于多语言BERT（M-BERT）。（作为参考，还包含了使用FastText的基线分类性能。）

[代码][Yle数据] [Ylilauta数据]

命名实体识别

在FiNER语料库上的评估（Ruokolainen等人2019）

（FiNER标注器结果来自Ruokolainen等人2019）

[代码][数据]

词性标注

在三个标注有通用依存关系词性标签的芬兰语语料库上的评估：图尔库依存树库（TDT）、芬兰树库（FTB）和并行UD树库（PUD）

[代码][数据]

历史版本

0.2版本

2019年10月24日 发布了基于芬兰新闻、在线讨论和爬取数据从头训练的BERT基础不区分大小写模型的测试版。

下载模型：bert-base-finnish-uncased.zip

0.1版本

2019年9月30日 发布了基于芬兰新闻、在线讨论和爬取数据从头训练的BERT基础区分大小写模型的测试版。

下载模型：bert-base-finnish-cased.zip