语言:

• '挪威语'
• 书面挪威语（Bokmål）
• 新挪威语（Nynorsk） 推理: 关闭 标签:
• BERT
• NorBERT
• 挪威语
• 编码器 许可证: Apache-2.0

NorBERT 3 基础版

这是论文NorBench —— 挪威语语言模型基准测试中描述的新一代NorBERT语言模型的正式发布。请阅读论文以了解更多关于该模型的详细信息。

其他规模版本:

• NorBERT 3 超小版 (15M)
• NorBERT 3 小版 (40M)
• NorBERT 3 基础版 (123M)
• NorBERT 3 大版 (323M)

生成式NorT5系列:

• NorT5 超小版 (32M)
• NorT5 小版 (88M)
• NorT5 基础版 (228M)
• NorT5 大版 (808M)

使用示例

当前模型需要从modeling_norbert.py加载自定义封装器，因此需设置trust_remote_code=True参数加载模型。

import torch
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("ltg/norbert3-base")
model = AutoModelForMaskedLM.from_pretrained("ltg/norbert3-base", trust_remote_code=True)

mask_id = tokenizer.convert_tokens_to_ids("[MASK]")
input_text = tokenizer("Nå ønsker de seg en[MASK] bolig.", return_tensors="pt")
output_p = model(**input_text)
output_text = torch.where(input_text.input_ids == mask_id, output_p.logits.argmax(-1), input_text.input_ids)

# 预期输出: '[CLS] Nå ønsker de seg en ny bolig.[SEP]'
print(tokenizer.decode(output_text[0].tolist()))

目前已实现的类包括：AutoModel、AutoModelMaskedLM、AutoModelForSequenceClassification、AutoModelForTokenClassification、AutoModelForQuestionAnswering以及AutoModeltForMultipleChoice。

引用我们

@inproceedings{samuel-etal-2023-norbench,
    title = "{N}or{B}ench {--} 挪威语语言模型基准测试",
    author = "Samuel, David 和
      Kutuzov, Andrey 和
      Touileb, Samia 和
      Velldal, Erik 和
      {\O}vrelid, Lilja 和
      R{\o}nningstad, Egil 和
      Sigdel, Elina 和
      Palatkina, Anna",
    booktitle = "第24届北欧计算语言学会议论文集(NoDaLiDa)",
    month = 5月,
    year = "2023",
    address = "法罗群岛托尔斯港",
    publisher = "塔尔图大学图书馆",
    url = "https://aclanthology.org/2023.nodalida-1.61",
    pages = "618--633",
    abstract = "我们推出NorBench：一套标准化的NLP任务集与探测工具，用于在统一数据划分和评估指标下测试挪威语语言模型(LMs)。同时我们发布了多款新型挪威语语言模型（包含编码器和编码器-解码器架构）。最后，我们通过NorBench的各项测试对比分析了这些模型与其他现有LM的性能表现。",
}