license: apache-2.0
language:

• multilingual
  library_name: gliner
  datasets:
• urchade/pile-mistral-v0.1
  pipeline_tag: token-classification

关于

GLiNER 是一个命名实体识别（NER）模型，能够通过双向 Transformer 编码器（类似 BERT）识别任何类型的实体。它为传统 NER 模型提供了实用的替代方案，后者仅限于预定义的实体类型，同时也解决了大型语言模型（LLMs）虽然灵活但资源消耗高的问题，使其更适合资源受限的场景。

相关链接

• 论文: https://arxiv.org/abs/2311.08526
• 代码库: https://github.com/urchade/GLiNER

安装

使用此模型前，需安装 GLiNER Python 库：

!pip install gliner -U  

使用方法

安装 GLiNER 库后，可导入 GLiNER 类，并通过 GLiNER.from_pretrained 加载模型，再使用 predict_entities 预测实体。

from gliner import GLiNER  

model = GLiNER.from_pretrained("gliner-community/gliner_large-v2.5", load_tokenizer=True)  

text = """  
克里斯蒂亚诺·罗纳尔多·多斯·桑托斯·阿维罗（葡萄牙语发音：[kɾiʃˈtjɐnu ʁɔˈnaldu]；1985年2月5日出生）是一名葡萄牙职业足球运动员，司职前锋，同时担任沙特职业联赛球队阿尔纳斯尔和葡萄牙国家队的队长。他被广泛认为是有史以来最伟大的球员之一，罗纳尔多曾五次获得金球奖[注3]，创纪录地三次赢得欧足联年度最佳男子球员奖，并四次获得欧洲金靴奖，是欧洲球员中获奖次数最多的。他的职业生涯共赢得33座奖杯，包括7次联赛冠军、5次欧冠冠军、1次欧洲杯冠军和1次欧国联冠军。罗纳尔多保持着欧冠出场次数（183）、进球（140）和助攻（42）的纪录，欧洲杯进球（14）、国家队进球（128）和国家队出场（205）的纪录。他是少数职业生涯出场超过1200次的球员之一，也是非门将球员中出场次数最多的球员，并为俱乐部和国家队攻入超过850个正式比赛进球，成为历史最佳射手。  
"""  

labels = ["人物", "奖项", "日期", "赛事", "球队"]  

entities = model.predict_entities(text, labels)  

for entity in entities:  
    print(entity["text"], "=>", entity["label"])  

输出示例：

克里斯蒂亚诺·罗纳尔多·多斯·桑托斯·阿维罗 => 人物  
1985年2月5日 => 日期  
阿尔纳斯尔 => 球队  
葡萄牙国家队 => 球队  
金球奖 => 奖项  
欧足联年度最佳男子球员奖 => 奖项  
欧洲金靴奖 => 奖项  
欧冠冠军 => 赛事  
欧洲杯冠军 => 赛事  
欧国联冠军 => 赛事  
欧冠 => 赛事  
欧洲杯 => 赛事  

命名实体识别性能对比

下图展示了模型当前版本与之前版本的性能对比：

其他可用模型

模型作者

模型作者包括：

• Urchade Zaratiana
• Ihor Stepanov
• Nadi Tomeh
• Pierre Holat
• Thierry Charnois

引用

@misc{zaratiana2023gliner,  
      title={GLiNER: 基于双向Transformer的通用命名实体识别模型},  
      author={Urchade Zaratiana and Nadi Tomeh and Pierre Holat and Thierry Charnois},  
      year={2023},  
      eprint={2311.08526},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}