license: cc-by-nc-sa-4.0 library_name: span-marker tags:

• span-marker
• token-classification
• ner
• named-entity-recognition pipeline_tag: token-classification widget:
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "德语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "英语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "西班牙语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B穿越大西洋飞往巴黎。" example_title: "法语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "意大利语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "荷兰语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "波兰语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "葡萄牙语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "俄语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "冰岛语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "希腊语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "捷克语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "芬兰语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "丹麦语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "瑞典语"
• text: "阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "挪威语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "罗马尼亚语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "印尼语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "白俄罗斯语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "乌克兰语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋抵达巴黎。" example_title: "克罗地亚语"
• text: "阿梅莉亚·埃尔哈特驾驶单引擎洛克希德Vega 5B飞越大西洋前往巴黎。" example_title: "爱沙尼亚语" model-index:
  • name: "Tom Aarsen基于bert-base-multilingual-cased在MultiNERD上训练的SpanMarker模型" results:
    • task: type: token-classification name: 命名实体识别 dataset: type: Babelscape/multinerd name: MultiNERD split: test revision: 2814b78e7af4b5a1f1886fe7ad49632de4d9dd25 metrics:
      • type: f1 value: 0.92478 name: F1值
      • type: precision value: 0.93385 name: 精确率
      • type: recall value: 0.91588 name: 召回率 datasets:
  • Babelscape/multinerd language:
  • multilingual metrics:
  • f1
  • recall
  • precision base_model: bert-base-multilingual-cased

多语言命名实体识别的SpanMarker模型

这是一个基于MultiNERD数据集训练的SpanMarker模型，可用于多语言命名实体识别。该SpanMarker模型使用bert-base-multilingual-cased作为基础编码器。训练脚本参见train.py。

如果您的数据大小写不规范，建议使用@lxyuan提供的该模型的无大小写版本以获得更好性能： lxyuan/span-marker-bert-base-multilingual-uncased-multinerd。

性能指标

标签集

使用方法

首先安装span_marker库以使用该模型进行推理：

pip install span_marker

然后可以按如下方式运行推理：

from span_marker import SpanMarkerModel

# 从🤗 Hub下载
model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-mbert-base-multinerd")
# 运行推理
entities = model.predict("阿梅莉亚·埃尔哈特驾驶她的单引擎洛克希德Vega 5B飞越大西洋前往巴黎。")

有关该库的文档和更多信息，请参阅SpanMarker仓库。

训练过程

训练超参数

训练期间使用的超参数如下：

• 学习率：5e-05
• 训练批次大小：32
• 评估批次大小：32
• 随机种子：42
• 优化器：Adam，betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 学习率预热比例：0.1
• 训练轮数：1

训练结果