Notram Bert Norwegian Cased 080321

由 NbAiLab 开发

nb-bert-base 是一个基于 BERT 架构的挪威语预训练模型，专为挪威语文本处理任务优化。

其他

下载量 96

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型主要用于挪威语的填充掩码任务，支持多种挪威语变体，并在多个挪威语基准测试中表现优异。

挪威语优化

专门针对挪威语文本进行预训练和优化，支持多种挪威语变体。

高性能

在多个挪威语基准测试中表现优异，尤其在NorNe-NB和NorNe-NN数据集上达到最佳性能。

多任务支持

除了填充掩码任务外，也可用于其他挪威语NLP任务如文本分类和命名实体识别。

填充掩码

文本理解

语义分析

文本处理

图书馆书籍管理

用于图书馆系统中自动补全或预测书籍相关操作描述。

示例输入：'在图书馆你可以[MASK]一本书。'

内容生成

帮助生成挪威语文本内容，填补缺失词汇。

示例输入：'这是一个[MASK]例子。'

研究支持

语言模型研究

用于研究挪威语语言模型的性能和特性。

在NoRec数据集上达到75.60的分数

模型	NoRec	NorNe-NB	NorNe-NN	NorDial	DaNe	Da-Angry-Tweets
roberta-base (英语)	51.77	79.01/79.53	79.79/83.02	67.18	75.44/78.07	55.51
mBERT-cased	63.91	83.72/86.12	83.05/87.12	66.23	80.00/81.43	57.67
nb-bert-base	75.60	91.98/92.95	90.93/94.06	69.39	81.95/84.83	64.18
notram-bert-norwegian-cased	72.47	91.77/93.12	89.79/93.70	78.55	83.69/86.55	64.19
notram-bert-norwegian-uncased	73.47	89.28/91.61	87.23/90.23	74.21	80.29/82.31	61.18
notram-bert-norwegian-cased-pod	76.18	91.24/92.24	90.88/93.21	76.21	81.82/84.99	62.16
nb-roberta-base	68.77	87.99/89.43	85.43/88.66	76.34	75.91/77.94	61.50
nb-roberta-base-scandinavian	67.88	87.73/89.14	87.39/90.92	74.81	76.22/78.66	63.37
nb-roberta-base-v2-200k	46.87	85.57/87.04	-	64.99	-	-
test_long_w5 200k	60.48	88.00/90.00	83.93/88.45	68.41	75.22/78.50	57.95
test_long_w5_roberta_tokenizer 200k	63.51	86.28/87.77	84.95/88.61	69.86	71.31/74.27	59.96
test_long_w5_roberta_tokenizer 400k	59.76	87.39/89.06	85.16/89.01	71.46	72.39/75.65	39.73
test_long_w5_dataset 400k	66.80	86.52/88.55	82.81/86.76	66.94	71.47/74.20	55.25
test_long_w5_dataset 600k	67.37	89.98/90.95	84.53/88.37	66.84	75.14/76.50	57.47
roberta-jan-128_ncc - 400k - 128	67.79	91.45/92.33	86.41/90.19	67.20	81.00/82.39	59.65
roberta-jan-128_ncc - 1000k - 128	68.17	89.34/90.74	86.89/89.87	68.41	80.30/82.17	61.63