语言: 芬兰语

快速入门

1.0版发布（2019年11月25日）

模型下载地址：

• 芬兰语BERT Base（区分大小写）：bert-base-finnish-cased-v1.zip
• 芬兰语BERT Base（不区分大小写）：bert-base-finnish-uncased-v1.zip

我们通常推荐使用区分大小写的模型。

芬兰语BERT论文：arXiv:1912.07076

这是什么？

这是谷歌BERT深度学习迁移学习模型的芬兰语版本。该模型可通过微调在各种芬兰语自然语言处理任务中达到最先进的性能。

FinBERT具有自定义的50,000词片词汇表，其芬兰语词汇覆盖范围远超谷歌此前发布的多语言BERT模型：

FinBERT已在超过30亿词符（240亿字符）的芬兰语文本上进行了100万步预训练，语料来源包括新闻、在线讨论和网络爬取数据。相比之下，多语言BERT仅基于维基百科文本训练，其中芬兰语维基百科内容仅占FinBERT训练数据的约3%。

这些特性使得FinBERT在经过微调后，不仅在芬兰语自然语言处理任务中超越多语言BERT，也优于所有先前提出的模型。

性能表现

文档分类

在Yle新闻语料（左）和Ylilauta论坛语料（右）的文档分类任务中，FinBERT在不同训练集规模下均优于多语言BERT（M-BERT）。（作为参考，同时展示了FastText的基线分类性能。）

[代码][Yle数据] [Ylilauta数据]

命名实体识别

基于FiNER语料库的评估（Ruokolainen等2019）

（FiNER标注器结果引自Ruokolainen等2019）

[代码][数据]

词性标注

在三个标注了通用依存词性标签的芬兰语料库上的评估：图尔库依存树库（TDT）、芬兰树库（FTB）和并行UD树库（PUD）

[代码][数据]

PyTorch使用指南

如需通过huggingface/transformers库使用本模型，请遵循huggingface_transformers.md中的步骤

历史版本

0.2版

2019年10月24日 发布基于芬兰新闻、在线讨论和爬取数据从头训练的BERT base不区分大小写模型的测试版。

下载地址：bert-base-finnish-uncased.zip

0.1版

2019年9月30日 发布基于芬兰新闻、在线讨论和爬取数据从头训练的BERT base区分大小写模型的测试版。

下载地址：bert-base-finnish-cased.zip