数据集:

• relbert/conceptnet_高置信度 模型索引:
• 名称: relbert/roberta-large-conceptnet-mask-prompt-e-nce 结果:
  • 任务: 名称: 关系映射 类型: 排序任务 数据集: 名称: 关系映射 参数: relbert/relation_mapping 类型: 关系映射 指标:
    • 名称: 准确率 类型: 准确率 值: 0.9325396825396826
  • 任务: 名称: 类比问题 (SAT 完整版) 类型: 多项选择问答 数据集: 名称: SAT 完整版 参数: relbert/analogy_questions 类型: 类比问题 指标:
    • 名称: 准确率 类型: 准确率 值: 0.5561497326203209
  • 任务: 名称: 类比问题 (SAT) 类型: 多项选择问答 数据集: 名称: SAT 参数: relbert/analogy_questions 类型: 类比问题 指标:
    • 名称: 准确率 类型: 准确率 值: 0.5578635014836796
  • 任务: 名称: 类比问题 (BATS) 类型: 多项选择问答 数据集: 名称: BATS 参数: relbert/analogy_questions 类型: 类比问题 指标:
    • 名称: 准确率 类型: 准确率 值: 0.7593107281823235
  • 任务: 名称: 类比问题 (Google) 类型: 多项选择问答 数据集: 名称: Google 参数: relbert/analogy_questions 类型: 类比问题 指标:
    • 名称: 准确率 类型: 准确率 值: 0.898
  • 任务: 名称: 类比问题 (U2) 类型: 多项选择问答 数据集: 名称: U2 参数: relbert/analogy_questions 类型: 类比问题 指标:
    • 名称: 准确率 类型: 准确率 值: 0.5657894736842105
  • 任务: 名称: 类比问题 (U4) 类型: 多项选择问答 数据集: 名称: U4 参数: relbert/analogy_questions 类型: 类比问题 指标:
    • 名称: 准确率 类型: 准确率 值: 0.5902777777777778
  • 任务: 名称: 词汇关系分类 (BLESS) 类型: 分类 数据集: 名称: BLESS 参数: relbert/lexical_relation_classification 类型: 关系分类 指标:
    • 名称: F1 类型: f1 值: 0.9303902365526593
    • 名称: F1 (宏观) 类型: f1_macro 值: 0.9253608458682704
  • 任务: 名称: 词汇关系分类 (CogALexV) 类型: 分类 数据集: 名称: CogALexV 参数: relbert/lexical_relation_classification 类型: 关系分类 指标:
    • 名称: F1 类型: f1 值: 0.8781690140845071
    • 名称: F1 (宏观) 类型: f1_macro 值: 0.7319159638510688
  • 任务: 名称: 词汇关系分类 (EVALution) 类型: 分类 数据集: 名称: BLESS 参数: relbert/lexical_relation_classification 类型: 关系分类 指标:
    • 名称: F1 类型: f1 值: 0.6939328277356447
    • 名称: F1 (宏观) 类型: f1_macro 值: 0.6992515104207172
  • 任务: 名称: 词汇关系分类 (K&H+N) 类型: 分类 数据集: 名称: K&H+N 参数: relbert/lexical_relation_classification 类型: 关系分类 指标:
    • 名称: F1 类型: f1 值: 0.9631355637476525
    • 名称: F1 (宏观) 类型: f1_macro 值: 0.8833254511680932
  • 任务: 名称: 词汇关系分类 (ROOT09) 类型: 分类 数据集: 名称: ROOT09 参数: relbert/lexical_relation_classification 类型: 关系分类 指标:
    • 名称: F1 类型: f1 值: 0.9088060169225948
    • 名称: F1 (宏观) 类型: f1_macro 值: 0.9064745584707974

relbert/roberta-large-conceptnet-mask-prompt-e-nce

RelBERT 基于 roberta-large 在 relbert/conceptnet_高置信度 数据集上微调而成。微调通过 RelBERT 库完成（详情请参阅该仓库）。在关系理解任务上取得了以下结果：

• 类比问题 (数据集, 完整结果):
  • SAT (完整版) 准确率: 0.5561497326203209
  • SAT 准确率: 0.5578635014836796
  • BATS 准确率: 0.7593107281823235
  • U2 准确率: 0.5657894736842105
  • U4 准确率: 0.5902777777777778
  • Google 准确率: 0.898
• 词汇关系分类 (数据集, 完整结果):
  • BLESS 微平均 F1 分数: 0.9303902365526593
  • CogALexV 微平均 F1 分数: 0.8781690140845071
  • EVALution 微平均 F1 分数: 0.6939328277356447
  • K&H+N 微平均 F1 分数: 0.9631355637476525
  • ROOT09 微平均 F1 分数: 0.9088060169225948
• 关系映射 (数据集, 完整结果):
  • 关系映射准确率: 0.9325396825396826

使用方法

此模型可通过 relbert 库 使用。通过 pip 安装该库：

pip install relbert

并按如下方式激活模型：

from relbert import RelBERT
model = RelBERT("relbert/roberta-large-conceptnet-mask-prompt-e-nce")
vector = model.get_embedding(['东京', '日本'])  # 形状为 (1024, )

训练超参数

训练过程中使用了以下超参数：

• 模型: roberta-large
• 最大长度: 64
• 模式: mask
• 数据: relbert/conceptnet_高置信度
• 模板模式: 手动
• 模板: 我之前不知道这种关系，但我在百科全书中读到 是 的
• 损失函数: nce_logout
• NCE 温度常数: 0.05
• NCE 温度排名: {'min': 0.01, 'max': 0.05, 'type': 'linear'}
• 训练轮次: 146
• 批次大小: 128
• 学习率: 5e-06
• 学习率衰减: 否
• 学习率预热: 1
• 权重衰减: 0
• 随机种子: 0
• 排除关系: 无
• 样本数: 640
• 梯度累积: 8

完整配置可在 微调参数文件 中找到。

参考文献

如果您使用了 RelBERT 的任何资源，请考虑引用我们的 论文。

@inproceedings{ushio-etal-2021-distilling-relation-embeddings,
    title = "{D}istilling {R}elation {E}mbeddings from {P}re-trained {L}anguage {M}odels",
    author = "Ushio, Asahi  and
      Schockaert, Steven  and
      Camacho-Collados, Jose",
    booktitle = "EMNLP 2021",
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
}