Norbert3 Xs

由 ltg 开发

NorBERT 3 xs 是一个针对挪威语优化的BERT模型，属于新一代NorBERT语言模型系列中的最小版本，参数量为15M。

大型语言模型

Transformers

其他

开源协议:Apache-2.0 #挪威语掩码预测 #轻量级BERT #多方言支持

下载量 228

发布时间 : 3/28/2023

模型介绍

内容详情

替代品

模型简介

该模型是基于BERT架构的挪威语预训练语言模型，专门针对挪威语文本处理任务优化，支持多种下游NLP任务。

模型特点

挪威语优化

专门针对挪威语（包括bokmål和nynorsk两种书面形式）进行预训练和优化

轻量级设计

作为NorBERT 3系列中最小的模型（15M参数），适合资源受限环境

多功能支持

支持多种下游NLP任务，包括文本分类、命名实体识别等

远程代码支持

需要自定义包装器，通过trust_remote_code=True加载模型

模型能力

掩码语言建模

序列分类

标记分类

问答系统

多项选择

使用案例

文本理解

文本补全

预测被掩码的词语，如示例中的'[MASK]'位置预测为'ny'

能准确预测符合语境的挪威语词汇

文本分类

情感分析

对挪威语文本进行情感倾向分类

language:

'挪威语'
nb
nn inference: false tags:
BERT
NorBERT
挪威语
编码器 license: apache-2.0

NorBERT 3 xs

这是论文NorBench — 挪威语模型基准测试中描述的新一代NorBERT语言模型的官方发布版本。请阅读论文以了解更多关于该模型的详细信息。

其他尺寸:

生成式NorT5兄弟模型:

使用示例

此模型目前需要来自modeling_norbert.py的自定义包装器，因此您应使用trust_remote_code=True加载模型。

import torch
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("ltg/norbert3-xs")
model = AutoModelForMaskedLM.from_pretrained("ltg/norbert3-xs", trust_remote_code=True)

mask_id = tokenizer.convert_tokens_to_ids("[MASK]")
input_text = tokenizer("Nå ønsker de seg en[MASK] bolig.", return_tensors="pt")
output_p = model(**input_text)
output_text = torch.where(input_text.input_ids == mask_id, output_p.logits.argmax(-1), input_text.input_ids)

# 应输出: '[CLS] Nå ønsker de seg en ny bolig.[SEP]'
print(tokenizer.decode(output_text[0].tolist()))

目前已实现的类包括：AutoModel、AutoModelMaskedLM、AutoModelForSequenceClassification、AutoModelForTokenClassification、AutoModelForQuestionAnswering和AutoModeltForMultipleChoice。

引用我们

@inproceedings{samuel-etal-2023-norbench,
    title = "{N}or{B}ench {--} A Benchmark for {N}orwegian Language Models",
    author = "Samuel, David  and
      Kutuzov, Andrey  and
      Touileb, Samia  and
      Velldal, Erik  and
      {\O}vrelid, Lilja  and
      R{\o}nningstad, Egil  and
      Sigdel, Elina  and
      Palatkina, Anna",
    booktitle = "Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa)",
    month = may,
    year = "2023",
    address = "T{\'o}rshavn, Faroe Islands",
    publisher = "University of Tartu Library",
    url = "https://aclanthology.org/2023.nodalida-1.61",
    pages = "618--633",
    abstract = "我们介绍了NorBench：一套简化的NLP任务和探针，用于在标准化的数据分割和评估指标上评估挪威语语言模型（LMs）。我们还引入了一系列新的挪威语语言模型（包括基于编码器和编码器-解码器的模型）。最后，我们比较并分析了它们在NorBench不同基准测试中的表现，以及其他现有LMs的表现。",
}