base_model: klue/roberta-small tags:

• 训练器生成
• 韩语
• klue数据集 widget:
• text: 我是金哲洙。家住首尔特别市江南大道，电话号码是010-1234-5678，居民登记号是123456-1234567。邮箱地址是hugging@face.com。我计划在10月25日出国。 metrics:
• 精确率
• 召回率
• F1值
• 准确率 model-index:
• name: klue_roberta_small_ner_identified results: [] language:
• 韩文 pipeline_tag: 标记分类

klue-roberta-small-ner-identified

本模型是基于vitus9988/klue-roberta-small-ner-identified在未知数据集上微调的版本，在评估集上取得如下结果：

• 损失值: 0.0082
• 精确率: 0.9930
• 召回率: 0.9988
• F1值: 0.9959
• 准确率: 0.9988

模型描述

为个人信息脱敏提供以下项目的命名实体识别：

• 人名 [PS]
• 地址（旧地址及道路名地址）[AD]
• 卡号 [CN]
• 账号 [BN]
• 驾照号码 [DN]
• 居民登记号 [RN]
• 护照号码 [PN]
• 电话号码 [PH]
• 电子邮箱 [EM]
• 日期 [DT]

训练超参数

训练过程中使用的超参数如下：

• 学习率: 5e-05
• 训练批次大小: 64
• 评估批次大小: 64
• 随机种子: 42
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型: 线性
• 训练轮次: 3

训练结果

框架版本

• Transformers 4.40.2
• Pytorch 2.3.0+cu118
• Datasets 2.19.1
• Tokenizers 0.19.1

使用示例

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("vitus9988/klue-roberta-small-ner-identified")
model = AutoModelForTokenClassification.from_pretrained("vitus9988/klue-roberta-small-ner-identified")

nlp = pipeline("ner", model=model, tokenizer=tokenizer, aggregation_strategy="simple")
example = """
我是金哲洙。家住首尔特别市江南大道，电话号码是010-1234-5678，居民登记号是123456-1234567。邮箱地址是hugging@face.com。我计划在10月25日出国。
"""

ner_results = nlp(example)
for i in ner_results:
    print(i)

#{'entity_group': 'PS', 'score': 0.9617835, 'word': '金哲洙', 'start': 3, 'end': 6}
#{'entity_group': 'AD', 'score': 0.9839702, 'word': '首尔特别市江南大道', 'start': 14, 'end': 24}
#{'entity_group': 'PH', 'score': 0.9906756, 'word': '010 - 1234 - 5678', 'start': 33, 'end': 46}
#{'entity_group': 'RN', 'score': 0.9904553, 'word': '123456 - 1234567', 'start': 56, 'end': 70}
#{'entity_group': 'EM', 'score': 0.99022245, 'word': 'hugging @ face. com', 'start': 81, 'end': 97}
#{'entity_group': 'DT', 'score': 0.985629, 'word': '10月25日', 'start': 105, 'end': 112}