🚀 韩国人名识别模型

本模型是基于kor - bert进行微调的模型。它以不常用的韩文字为基准，通过生成器生成16万个韩文名字并进行训练。其作用是识别文本中的韩国人名，例如将“안녕하세요. 임준영입니다.” 处理为 “안녕하세요. ***입니다.” 。

🚀 快速开始

代码示例

from transformers import BertTokenizerFast, BertForTokenClassification
from transformers import pipeline

model_name = 'joon09/kor-naver-ner-name'
tokenizer = BertTokenizerFast.from_pretrained(model_name)
model = BertForTokenClassification.from_pretrained(model_name)
nlp = pipeline("ner", model=model, tokenizer=tokenizer)

ner('안녕하세요. 임준영입니다.',grouped_entities=True,aggregation_strategy='average')

[{'entity_group': 'PER',
  'score': 0.99999785,
  'word': '임',
  'start': 7,
  'end': 8},
 {'entity_group': 'PER',
  'score': 0.82035744,
  'word': '##준영',
  'start': 8,
  'end': 10}]

代码解释

上述代码展示了如何使用该模型进行韩国人名识别。具体步骤如下：

1. 导入必要的库 BertTokenizerFast、BertForTokenClassification 和 pipeline。
2. 指定模型名称 model_name。
3. 使用 BertTokenizerFast 从预训练模型加载分词器。
4. 使用 BertForTokenClassification 从预训练模型加载模型。
5. 创建一个 pipeline 实例，用于执行命名实体识别（NER）任务。
6. 调用 ner 函数对输入文本进行人名识别，并设置 grouped_entities=True 和 aggregation_strategy='average'。
7. 输出识别结果，包含人名的实体组、得分、单词、起始位置和结束位置。