language: zh datasets:

• wnut_17 license: mit metrics:
  • f1 widget:
  • text: "昨晚曼联在利物浦主场对阵利物浦。" example_title: "转喻示例"
  • text: "我住在伯明翰的俚语叫'brum'" example_title: "俚语/非正式文本"

Reddit地名识别模型

基于bert-base-uncased微调的命名实体识别模型，使用wnut_17数据集及498条Reddit评论数据训练。本模型专为社交媒体文本中的地名抽取设计，其他实体类型已被移除。

开发本模型的两个核心目标：

1. 提升社交媒体文本的NER识别效果
2. 专注识别地理位置名称

模型代码

模型代码详见GitHub仓库。

转喻识别

理论上该模型能识别并忽略转喻现象。例如在句子： 昨晚曼联在利物浦主场对阵利物浦。 中，"曼联"和第一个"利物浦"实际指足球队，因此模型输出为：

[
    {
        "entity_group": "location",
        "score": 0.9975672,
        "word": "liverpool",
        "start": 42,
        "end": 51,
    }
]

在transformers中使用

from transformers import pipeline

generator = pipeline(
    task="ner",
    model="cjber/reddit-ner-place_names",
    tokenizer="cjber/reddit-ner-place_names",
    aggregation_strategy="first",
)

out = generator("我喜欢读书。我住在雷丁(Reading)。")

输出结果为：

[
    {
        "entity_group": "location",
        "score": 0.94123614,
        "word": "reading",
        "start": 32,
        "end": 39,
    }
]