许可证：Apache-2.0
数据集：

• EmergentMethods/AskNews-NER-v0
  标签：
• gliner
  语言：
• en
  管道标签：token-classification

GLiNER大型新闻模型v2.1卡片

此模型是对GLiNER的微调版本，旨在提升跨领域主题的准确率，尤其擅长长文本新闻实体抽取。如下表所示，该微调模型在18个基准数据集上的零样本准确率较基础GLiNER模型最高提升7.5%。

底层数据集AskNews-NER-v0通过强制国家/语言/主题/时间多样性设计，以拓展全球视角。所有微调数据均为合成生成：使用WizardLM 13B v1.2翻译/摘要开放网络新闻，Llama3 70b instruct进行实体抽取。多样化方法与微调策略详见我们的ArXiv论文。

使用方式

from gliner import GLiNER  

model = GLiNER.from_pretrained("EmergentMethods/gliner_large_news-v2.1")  

text = """  
奇瓦瓦州公共安全秘书处（SSPE）在华雷斯城逮捕了35岁的Salomón C. T.，其当时持有一辆被盗的白色GMC Yukon汽车，该车此前在市区街道报失。此次逮捕由情报与警力分析人员在边境城市调查期间完成。此案与2月6日涉及私家车内武装人员的先前拘捕有关。嫌疑人及车辆已移交奇瓦瓦州总检察长办公室进行深入调查。  
"""  

labels = ["人物", "地点", "日期", "事件", "设施", "车辆", "数字", "组织"]  

entities = model.predict_entities(text, labels)  

for entity in entities:  
    print(entity["text"], "=>", entity["label"])  

输出：

奇瓦瓦州公共安全秘书处 => 组织  
SSPE => 组织  
35岁 => 数字  
Salomón C. T. => 人物  
华雷斯城 => 地点  
GMC Yukon => 车辆  
2月6日 => 日期  
奇瓦瓦州总检察长办公室 => 组织  

模型详情

模型描述

本次新闻微调的合成数据源自AskNews API，强制实现了国家/语言/主题/时间的多样性：

国家分布：

实体类型：

主题分布：

• 开发方：Emergent Methods
• 资助方：Emergent Methods
• 共享方：Emergent Methods
• 模型类型：microsoft/deberta
• 支持语言：英语（含西班牙语、葡萄牙语、德语、俄语、法语、阿拉伯语、意大利语、乌克兰语、挪威语、瑞典语、丹麦语的翻译文本）
• 许可证：Apache 2.0
• 基础模型：GLiNER

模型来源

• 代码库：待补充
• 论文：待补充
• 演示：待补充

应用场景

直接使用

尽管针对新闻领域微调，该模型在18个基准数据集上普遍提升表现，证明其广泛实体识别能力。模型体积精巧，适合高吞吐生产环境，当前已被AskNews用于实体抽取系统。

偏差与局限

虽然通过数据多样化降低偏差，但仍存在西方语言/国家倾向性。此局限源于Llama2的翻译/摘要能力及Llama3的实体抽取过程所继承的偏差。

快速开始

参见前文代码示例。

训练细节

训练数据集为AskNews-NER-v0，其他细节详见配套论文。

环境影响

• 硬件类型：1xA4500
• 训练时长：10小时
• 碳排放量：0.6千克（依据机器学习碳足迹计算器）

引用

BibTeX：待补充
APA：待补充

作者

Elin Törnquist, Emergent Methods（elin@emergentmethods.ai）
Robert Caulk, Emergent Methods（rob@emergentmethods.ai）

联系

Elin Törnquist, Emergent Methods（elin@emergentmethods.ai）
Robert Caulk, Emergent Methods（rob@emergentmethods.ai）