KPF Bert Ner

🚀 KPF-BERT-NER

KPF-BERT-NER 是在 빅카인즈랩内部菜单的实体名称分析中使用的实体识别模型。你可以在 KPF-bigkinds github 查看使用说明和代码。

🚀 快速开始

你可以访问 KPF-bigkinds github 查看该模型使用方法的相关说明和代码。

✨ 主要特性

KPF-BERT-NER

韩国新闻振兴财团基于自主研发的 kpf-BERT 模型，设计并开发了可执行 NER（命名实体识别）任务的 kpf-BERT-ner 模型。NER 指的是识别具有名称的对象。根据韩国信息通信技术协会提供的信息通信术语词典，NER 的定义如下： “NER 是一种从文档中识别并提取分类预先定义的与人员、公司、地点、时间、单位等相对应的单词（实体名称）的技术。提取的实体名称可分为人名（person）、地名（location）、机构名（organization）、时间（time）等。实体识别最初以信息提取为目的，现已应用于自然语言处理、信息检索等领域。” 从实际应用角度来看，它是“接收字符串作为输入，并输出每个单词对应标签的多类分类任务”。在本项目中，我们设计并开发了 kpf-BERT-ner 模型，并通过学习新闻文章对 150 个类别进行分类。

• 本示例中使用的 kpf-BERT 已在 kpfBERT 上公开。
• 韩语数据集采用了由国立国语院提供的 新闻语料库提取 数据。

韩国新闻振兴财团在 kpf-BERT 基础上添加分类层，开发了 kpf-BERT-ner 模型。BERT 在预训练中使用了大量数据。kpf-BERT 是专门针对新闻文章的 BERT 模型，对新闻和广播媒体具有较强的适应性。

训练 BERT 模型需要从句子中提取标记，这可以通过 kpf-BERT 提供的分词器来实现。kpf-BERT 分词器将句子进行分词，生成整个句子向量，并添加句子的开头和结尾以及其他一些特殊标记。在此过程中，还会生成用于区分每个句子的分段标记、表示每个标记位置的位置标记等。

开发 NER 模型还需要关于标记所属类别的信息。在本项目中，使用分词器将句子分割成标记后，会对每个标记进行 NER 标记。此外，采用 BIO（Begin-Inside-Outside）标记法来提高准确性。B 表示实体名称的起始部分，I 表示实体名称的内部部分，O 表示非实体名称部分。