语言:

• 丹麦语
• 挪威语
• 挪威博克马尔语
• 瑞典语

许可证: apache-2.0

数据集:

• strombergnlp/danfever
• KBLab/overlim
• MoritzLaurer/multilingual-NLI-26lang-2mil7

管道标签: 零样本分类

小部件:

• 示例标题: 丹麦语 文本: 墨西哥拳击手警告梅西 - "你该向上帝祈祷别让我找到你" 候选标签: 健康, 政治, 体育, 宗教
• 示例标题: 挪威语 文本: 俄罗斯政府声称挪威推行的政策将导致北极局势升级，并"最终破坏俄挪关系" 候选标签: 健康, 政治, 体育, 宗教
• 示例标题: 瑞典语 文本: 科学家揭示如何欺骗免疫系统治愈癌症 候选标签: 健康, 政治, 体育, 宗教

推理参数: 假设模板: "这个例子是关于{}的"

基础模型: NbAiLab/nb-bert-base

ScandiNLI - 斯堪的纳维亚语言自然语言推理模型

本模型是基于NbAiLab/nb-bert-base微调而成的自然语言推理模型，支持丹麦语、挪威博克马尔语和瑞典语。

我们发布了三种不同规模的斯堪的纳维亚NLI模型：

• alexandrainst/scandi-nli-large-v2
• alexandrainst/scandi-nli-large
• alexandrainst/scandi-nli-base (当前模型)
• alexandrainst/scandi-nli-small

大型v2模型的演示可在此Hugging Face空间查看。

各模型性能与规模详见下方"性能表现"章节。

快速开始

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-base",
... )
>>> classifier(
...     "墨西哥拳击手警告梅西 - '你该向上帝祈祷别让我找到你'",
...     candidate_labels=['健康', '政治', '体育', '宗教'],
...     hypothesis_template="这个例子是关于{}的",
... )
{'sequence': "墨西哥拳击手警告梅西 - '你该向上帝祈祷别让我找到你'",
 'labels': ['体育', '宗教', '健康', '政治'],
 'scores': [0.724335789680481,
  0.1176532730460167,
  0.08848614990711212,
  0.06952482461929321]}

性能表现

我们分别评估模型在丹麦语、瑞典语和挪威博克马尔语的表现。

所有评估均报告马修斯相关系数(MCC)、宏平均F1分数以及准确率。

斯堪的纳维亚整体评估

丹麦语评估

使用DanFEVER数据集的测试集评估。

瑞典语评估

使用机器翻译版MultiNLI测试集评估。

挪威语评估

使用机器翻译版MultiNLI测试集评估。

训练过程

模型在以下数据集上微调：

• DanFEVER
• 机器翻译版MultiNLI和CommitmentBank
• 瑞典语版FEVER和对抗性NLI

完整训练日志参见Weights and Biases报告

训练超参数

• 学习率: 2e-05
• 训练批次: 8
• 评估批次: 8
• 随机种子: 4242
• 梯度累积步数: 2
• 总训练批次: 32
• 优化器: Adam (beta1=0.9, beta2=0.999, epsilon=1e-08)
• 学习率调度器: 线性预热500步
• 最大步数: 50,000