license: apache-2.0 datasets:

• urchade/pile-mistral-v0.1 language:
• en pipeline_tag: token-classification library_name: gliner

关于

GLiNER 是一个命名实体识别（NER）模型，能够使用双向 Transformer 编码器（类似 BERT）识别任何类型的实体。它为传统 NER 模型提供了一种实用的替代方案，后者仅限于预定义的实体，同时也为大型语言模型（LLMs）提供了一种替代方案，尽管后者灵活，但在资源受限的情况下成本高昂且体积庞大。

链接

• 论文: https://arxiv.org/abs/2311.08526
• 代码库: https://github.com/urchade/GLiNER

可用模型

安装

要使用此模型，必须安装 GLiNER Python 库：

!pip install gliner

使用

下载 GLiNER 库后，可以导入 GLiNER 类。然后使用 GLiNER.from_pretrained 加载此模型，并使用 predict_entities 预测实体。

from gliner import GLiNER

model = GLiNER.from_pretrained("urchade/gliner_medium-v2.1")

text = """
克里斯蒂亚诺·罗纳尔多·多斯·桑托斯·阿维罗（葡萄牙语发音：[kɾiʃˈtjɐnu ʁɔˈnaldu]；1985年2月5日出生）是一名葡萄牙职业足球运动员，司职前锋，并担任沙特职业足球联赛俱乐部阿尔纳斯尔和葡萄牙国家队的队长。罗纳尔多被广泛认为是有史以来最伟大的球员之一，曾五次获得金球奖，创纪录地三次获得欧足联年度最佳男子球员奖，四次获得欧洲金靴奖，是欧洲球员中获得次数最多的。他的职业生涯共赢得了33座奖杯，包括七次联赛冠军、五次欧洲冠军联赛冠军、一次欧洲足球锦标赛冠军和一次欧洲国家联赛冠军。罗纳尔多保持着欧冠联赛出场次数最多（183次）、进球最多（140球）和助攻最多（42次）的纪录，欧洲足球锦标赛进球最多（14球）、国际比赛进球最多（128球）和国际比赛出场次数最多（205次）的纪录。他是少数职业生涯出场超过1200次的球员之一，也是非门将球员中出场次数最多的球员，并为俱乐部和国家队打入了超过850个正式比赛进球，成为有史以来进球最多的球员。
"""

labels = ["人物", "奖项", "日期", "赛事", "球队"]

entities = model.predict_entities(text, labels)

for entity in entities:
    print(entity["text"], "=>", entity["label"])

克里斯蒂亚诺·罗纳尔多·多斯·桑托斯·阿维罗 => 人物
1985年2月5日 => 日期
阿尔纳斯尔 => 球队
葡萄牙国家队 => 球队
金球奖 => 奖项
欧足联年度最佳男子球员奖 => 奖项
欧洲金靴奖 => 奖项
欧洲冠军联赛 => 赛事
欧洲足球锦标赛 => 赛事
欧洲国家联赛 => 赛事
欧冠联赛 => 赛事
欧洲足球锦标赛 => 赛事

命名实体识别基准测试结果

模型作者

模型作者包括：

• Urchade Zaratiana
• Nadi Tomeh
• Pierre Holat
• Thierry Charnois

引用

@misc{zaratiana2023gliner,
      title={GLiNER: 基于双向Transformer的通用命名实体识别模型}, 
      author={Urchade Zaratiana and Nadi Tomeh and Pierre Holat and Thierry Charnois},
      year={2023},
      eprint={2311.08526},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}