语言:

• 英语 标签:
• 命名实体识别(NER)
• 关系抽取(RE)
• 实体提及检测(EMD)
• 共指消解 许可证: Apache-2.0 数据集:
• Ontonotes
• CoNLL04

CoReNer模型

在线演示

我们发布了在线演示，方便您快速体验模型效果。访问地址：http://corener-demo.aiola-lab.com。该演示基于aiola/roberta-base-corener模型构建。

模型描述

这是一个支持多任务的联合模型，可同时处理：

• 命名实体识别（作为跨度分类任务）
• 关系抽取（作为NER跨度的多标签元组分类）
• 实体提及检测（作为跨度分类任务）
• 共指消解（作为EMD跨度的二元元组分类）

对于共指消解，我们保留每个提及的最高优先级先行词，并通过计算提及无向图的连通分量来构建聚类簇。

模型支持识别的实体类型包括： GPE（地理政治实体）、ORG（组织）、PERSON（人物）等18类； 支持的关系类型包括：杀害、居住于、位于等5类。

使用示例

更多细节和使用示例详见GitHub仓库：https://github.com/aiola-lab/corener。

import json
from transformers import AutoTokenizer
from corener.models import Corener, ModelOutput
from corener.data import MTLDataset
from corener.utils.prediction import convert_model_output

# 初始化组件
tokenizer = AutoTokenizer.from_pretrained("aiola/roberta-base-corener")
model = Corener.from_pretrained("aiola/roberta-base-corener")
model.eval()

# 输入文本示例
examples = [
    "苹果公园是苹果公司的总部所在地，位于美国加利福尼亚州库比蒂诺市。该园区于2017年4月向员工开放，同时仍在建设中，取代了1993年开放的1 Infinite Loop原总部。"
]

# 构建数据集
dataset = MTLDataset(
    types=model.config.types, 
    tokenizer=tokenizer,
    train_mode=False,
)
dataset.read_dataset(examples)
example = dataset.get_example(0)  # 获取首条样本

# 模型推理
output: ModelOutput = model(
    input_ids=example.encodings,
    context_masks=example.context_masks,
    entity_masks=example.entity_masks,
    entity_sizes=example.entity_sizes,
    entity_spans=example.entity_spans,
    entity_sample_masks=example.entity_sample_masks,
    inference=True,
)

# 输出结构化结果
print(json.dumps(convert_model_output(output=output, batch=example, dataset=dataset), indent=2))