许可证：apache-2.0
语言：

• 英语
  评估指标：
• F1值
• 召回率
• 精确率
  标签：
• 命名实体识别（NER）
  管道标签：token-classification
  库名称：gliner
  数据集：
• knowledgator/GLINER-multi-task-synthetic-data
• EmergentMethods/AskNews-NER-v0
• urchade/pile-mistral-v0.1
• MultiCoNER/multiconer_v2
• DFKI-SLT/few-nerd
  基础模型：knowledgator/gliner-multitask-large-v0.5

xomad/gliner-model-merge-large-v1.0模型基于预训练模型knowledgator/gliner-multitask-large-v0.5开发，通过探索模型融合技术，性能显著提升了3.25个点，F1分数从0.6276提升至0.6601。

该模型仅在具有商业友好许可的数据集上训练，以确保在Apache-2.0许可下的广泛适用性。训练过程中使用了以下数据集：

• knowledgator/GLINER-multi-task-synthetic-data
• EmergentMethods/AskNews-NER-v0
• urchade/pile-mistral-v0.1
• MultiCoNER/multiconer_v2
• DFKI-SLT/few-nerd

⚙️ 微调流程

流程从基础模型knowledgator/gliner-multitask-large-v0.5开始。我们的模型xomad/gliner-model-merge-large-v1.0分别对上述每个数据集进行微调，并在微调过程中保存多个检查点。将这些检查点汇集后，应用模型融合技术生成不同的融合模型：

• uniform_merged
• greedy_on_random
• greedy_on_sorted

随后，应用WiSE-FT融合技术，从上述3个模型和原始模型中选择配对，生成wise_ft_merged模型。这完成了第一阶段微调。

第二阶段微调以wise_ft_merged为起点，重复上述流程，生成最终模型。整个微调流程如下图所示：

微调模型池和融合模型的性能在CrossNER和TwitterNER基准上评估，并在下图中分别以crossner_f1和other_f1展示。

第一阶段微调结果图：

第二阶段微调结果图：

🛠️ 安装

使用此模型需安装GLiNER Python库：

pip install gliner  

安装完成后，导入GLiNER类并通过GLiNER.from_pretrained加载模型。

💻 使用示例

from gliner import GLiNER  

model = GLiNER.from_pretrained("xomad/gliner-model-merge-large-v1.0")  

text = """  
微软由比尔·盖茨和保罗·艾伦于1975年4月4日创立，旨在为Altair 8800开发和销售BASIC解释器。盖茨在微软任职期间，曾担任董事长、首席执行官、总裁和首席软件架构师，同时也是最大个人股东，直至2014年5月。  
"""  

labels = ["创始人", "计算机", "软件", "职位", "日期", "公司"]  

entities = model.predict_entities(text, labels)  

for entity in entities:  
    print(entity["text"], "=>", entity["label"])  

输出：

微软 => 公司  
比尔·盖茨 => 创始人  
保罗·艾伦 => 创始人  
1975年4月4日 => 日期  
BASIC => 软件  
Altair 8800 => 计算机  
微软 => 公司  
董事长 => 职位  
首席执行官 => 职位  
总裁 => 职位  
首席软件架构师 => 职位  
2014年5月 => 日期  

📊 基准测试

不同零样本NER基准测试（CrossNER、mit-movie和mit-restaurant）的性能，数据来自https://huggingface.co/knowledgator/gliner-multitask-large-v0.5：

各数据集详细性能：

作者

Hoan Nguyen，来自xomad.com

引用文献

@misc{wortsman2022modelsoupsaveragingweights,  
      title={模型融合：通过平均多个微调模型的权重提升准确率且不增加推理时间},  
      author={Mitchell Wortsman and Gabriel Ilharco and Samir Yitzhak Gadre and Rebecca Roelofs and Raphael Gontijo-Lopes and Ari S. Morcos and Hongseok Namkoong and Ali Farhadi and Yair Carmon and Simon Kornblith and Ludwig Schmidt},  
      year={2022},  
      eprint={2203.05482},  
      archivePrefix={arXiv},  
      primaryClass={cs.LG},  
      url={https://arxiv.org/abs/2203.05482},  
}  

@InProceedings{Wortsman_2022_CVPR,  
    author    = {Wortsman, Mitchell and Ilharco, Gabriel and Kim, Jong Wook and Li, Mike and Kornblith, Simon and Roelofs, Rebecca and Lopes, Raphael Gontijo and Hajishirzi, Hannaneh and Farhadi, Ali and Namkoong, Hongseok and Schmidt, Ludwig},  
    title     = {零样本模型的鲁棒微调},  
    booktitle = {IEEE/CVF计算机视觉与模式识别会议论文集（CVPR）},  
    month     = {六月},  
    year      = {2022},  
    pages     = {7959-7971}  
}  

@misc{stepanov2024gliner,  
      title={GLiNER多任务：面向多种信息抽取任务的通用轻量模型},  
      author={Ihor Stepanov and Mykhailo Shtopko},  
      year={2024},  
      eprint={2406.12925},  
      archivePrefix={arXiv},  
      primaryClass={id='cs.LG' full_name='机器学习' is_active=True alt_name=None in_archive='cs' is_general=False description='涵盖机器学习研究所有方面的论文（监督学习、无监督学习、强化学习、赌博问题等），包括鲁棒性、可解释性、公平性和方法论。cs.LG也适用于机器学习方法的应用研究。'}  
}  

@misc{zaratiana2023gliner,  
      title={GLiNER：基于双向Transformer的通用命名实体识别模型},  
      author={Urchade Zaratiana and Nadi Tomeh and Pierre Holat and Thierry Charnois},  
      year={2023},  
      eprint={2311.08526},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}