license: cc-by-nc-4.0 language:

• multilingual pipeline_tag: token-classification datasets:
• Universal-NER/Pile-NER-type library_name: gliner

GLiNER-multi 模型卡

GLiNER 是一个命名实体识别（NER）模型，能够通过双向 Transformer 编码器（类似 BERT）识别任何实体类型。它为传统 NER 模型提供了实用替代方案，后者仅限于预定义实体，同时也为大型语言模型（LLMs）提供了灵活但资源消耗大的解决方案。

此版本基于 Pile-NER 数据集训练（研究用途）。商业授权版本请使用 (urchade/gliner_smallv2, urchade/gliner_mediumv2, urchade/gliner_largev2)

相关链接

• 论文: https://arxiv.org/abs/2311.08526
• 代码库: https://github.com/urchade/GLiNER

可用模型

安装

使用前需安装 GLiNER Python 库：

!pip install gliner

使用示例

安装完成后，导入 GLiNER 类并通过 GLiNER.from_pretrained 加载模型，使用 predict_entities 进行实体预测。

from gliner import GLiNER

model = GLiNER.from_pretrained("urchade/gliner_multi")

text = """
克里斯蒂亚诺·罗纳尔多·多斯·桑托斯·阿维罗（葡萄牙语发音：[kɾiʃˈtjɐnu ʁɔˈnaldu]；1985年2月5日出生）是葡萄牙职业足球运动员，司职前锋，同时担任沙特职业足球联赛阿尔纳斯尔俱乐部和葡萄牙国家队的双料队长。被广泛认为是有史以来最伟大的球员之一，罗纳尔多曾五次获得金球奖[注3]，创纪录地三次赢得欧足联年度最佳男子球员奖，以及四次欧洲金靴奖，是欧洲球员中获得该奖项次数最多的球员。他的职业生涯共获得33座冠军奖杯，包括7次联赛冠军、5次欧冠冠军、1次欧洲杯冠军和1次欧国联冠军。罗纳尔多保持着欧冠出场次数（183场）、进球数（140球）和助攻数（42次）的纪录，同时也是欧洲杯进球数（14球）、国家队进球数（128球）和国家队出场次数（205场）的纪录保持者。他是少数职业生涯出场超过1200次的球员之一，也是非门将位置出场次数最多的球员，并为俱乐部和国家队打入超过850粒正式比赛进球，成为历史最佳射手。
"""

labels = ["人物", "奖项", "日期", "赛事", "球队"]

entities = model.predict_entities(text, labels)

for entity in entities:
    print(entity["text"], "=>", entity["label"])

克里斯蒂亚诺·罗纳尔多·多斯·桑托斯·阿维罗 => 人物
1985年2月5日 => 日期
沙特职业足球联赛 => 赛事
阿尔纳斯尔 => 球队
葡萄牙国家队 => 球队
金球奖 => 奖项
欧足联年度最佳男子球员奖 => 奖项
欧洲金靴奖 => 奖项
欧冠冠军 => 赛事
欧洲杯冠军 => 赛事
欧国联冠军 => 赛事
欧冠 => 赛事
欧洲杯 => 赛事

from gliner import GLiNER

model = GLiNER.from_pretrained("urchade/gliner_multi")

text = """
这是老牌抗病毒药盐酸金刚烷胺的糖浆制剂。
"""
# 标准答案: 盐酸金刚烷胺 - 药品名, 糖浆 - 剂型

labels = ["药品名", "剂型"]

entities = model.predict_entities(text, labels)

for entity in entities:
    print(entity["text"], "=>", entity["label"])

盐酸金刚烷胺 => 药品名
糖浆 => 剂型

命名实体识别基准测试结果

模型作者

• Urchade Zaratiana
• Nadi Tomeh
• Pierre Holat
• Thierry Charnois

引用文献

@misc{zaratiana2023gliner,
      title={GLiNER: 基于双向Transformer的通用命名实体识别模型}, 
      author={Urchade Zaratiana and Nadi Tomeh and Pierre Holat and Thierry Charnois},
      year={2023},
      eprint={2311.08526},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}