license: apache-2.0 datasets:

• conll2003
• ai4privacy/pii-masking-200k language:
• en metrics:
• accuracy
• f1 library_name: transformers pipeline_tag: token-classification

模型详情

模型描述

该模型是基于electra-small微调用于NER（命名实体识别）预测任务的模型。当前模型可预测以下三类实体：

1. 地点（Location）
2. 人名（Person）
3. 组织机构（Organization）

• 开发者:
  விபின் (Vipin)
• 模型类型: 谷歌electra small判别器
• 支持语言: 英语
• 许可协议: Apache 2.0
• 基础模型: 谷歌electra small判别器

模型来源

• 代码仓库: https://huggingface.co/google/electra-small-discriminator

使用说明

本模型使用来自distilbert系列的分词器。因此对于相同单词的不同子词，模型可能会预测出不同实体类型。使用transformers的pipeline时，请将'aggregation_strategy'参数设置为"max"。 例如处理'ashwin'时： "ash" → 预测为人名（Person） "win" → 预测为地点（Location）

非适用场景

可能不适用于某些长句子的识别。

快速开始

使用以下代码加载模型：

from transformers import AutoModelForTokenClassification, AutoTokenizer
from transformers import pipeline

model = AutoModelForTokenClassification.from_pretrained("rv2307/electra-small-ner")
tokenizer = AutoTokenizer.from_pretrained("rv2307/electra-small-ner")

nlp = pipeline("ner",
              model=model,
              tokenizer=tokenizer,device="cpu",
              aggregation_strategy = "max")

训练详情

训练过程

模型以3e-4的学习率训练了6个epoch。

 [39168/39168 41:18, Epoch 6/6]
Step	训练损失	验证损失	精确率	召回率	F1值	准确率
10000	0.086300	0.088625	0.863476	0.876271	0.869827	0.972581
20000	0.059800	0.079611	0.894612	0.884521	0.889538	0.976563
30000	0.050400	0.074552	0.895812	0.902591	0.899188	0.978380

评估结果

该模型的验证损失为0.07