语言:

• 丹麦语
• 挪威语
• 书面挪威语
• 瑞典语

许可证: Apache-2.0

数据集:

• strombergnlp/danfever
• KBLab/overlim
• MoritzLaurer/multilingual-NLI-26lang-2mil7

管道标签: 零样本分类

小部件:

• 示例标题: 丹麦语 文本: "墨西哥拳击手警告梅西 - '你要向上帝祈祷别让我找到你'" 候选标签: 健康, 政治, 体育, 宗教
• 示例标题: 挪威语 文本: "俄罗斯政府声称挪威推行的政策将导致北极地区局势升级，并'最终破坏俄挪关系'" 候选标签: 健康, 政治, 体育, 宗教
• 示例标题: 瑞典语 文本: "如何欺骗人体免疫系统以治愈癌症" 候选标签: 健康, 政治, 体育, 宗教

推理参数: 假设模板: "这个例子是关于{}的"

基础模型: jonfd/electra-small-nordic

ScandiNLI - 斯堪的纳维亚语言自然语言推理模型

该模型是基于jonfd/electra-small-nordic微调而成的，用于丹麦语、书面挪威语和瑞典语的自然语言推理任务。

我们发布了三种不同规模的斯堪的纳维亚NLI模型：

• alexandrainst/scandi-nli-large-v2
• alexandrainst/scandi-nli-large
• alexandrainst/scandi-nli-base
• alexandrainst/scandi-nli-small (当前模型)

大型v2模型的演示可在此Hugging Face空间查看。

快速开始

您可以通过以下方式在脚本中使用此模型：

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-small",
... )
>>> classifier(
...     "墨西哥拳击手警告梅西 - '你要向上帝祈祷别让我找到你'",
...     candidate_labels=['健康', '政治', '体育', '宗教'],
...     hypothesis_template="这个例子是关于{}的",
... )
{'sequence': "墨西哥拳击手警告梅西 - '你要向上帝祈祷别让我找到你'",
 'labels': ['宗教', '体育', '政治', '健康'],
 'scores': [0.4504755437374115,
  0.20737220346927643,
  0.1976872682571411,
  0.14446501433849335]}

性能表现

我们分别评估了模型在丹麦语、瑞典语和书面挪威语上的表现。所有情况下均报告马修斯相关系数(MCC)、宏平均F1分数以及准确率。

斯堪的纳维亚整体评估

斯堪的纳维亚分数是丹麦语、瑞典语和挪威语分数的平均值，具体分数见下方各节。

(后续丹麦语、瑞典语和挪威语的评估表格类似翻译，此处省略...)

训练过程

模型在由DanFEVER以及MultiNLI和CommitmentBank机器翻译至三种语言的版本组成的数据集上进行微调，还包括FEVER和Adversarial NLI机器翻译至瑞典语的版本。

训练超参数：

• 学习率: 2e-05
• 训练批次大小: 32
• 评估批次大小: 32
• 随机种子: 4242
• 梯度累积步数: 1
• 总训练批次大小: 32
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型: 线性
• 学习率预热步数: 500
• 最大步数: 50,000

完整训练日志详见此Weights and Biases报告。