库名称：transformers
标签：[标记分类, 命名实体识别, deberta, 隐私, PII检测]

DeBERTa实现的PII检测模型卡

该模型是基于microsoft/deberta微调的命名实体识别（NER）模型，专门用于检测个人身份信息（PII）实体，如姓名、社保号码、电话号码、信用卡号、地址等。

模型详情

模型描述

该基于Transformer的模型在自定义数据集上微调，用于检测敏感信息（通常归类为PII）。模型通过标记级分类进行序列标注以识别实体。

• 开发者: [Privatone]
• 微调自模型: microsoft/deberta
• 模型类型: 标记分类（NER）
• 语言: 英语
• 用例: 文本中的PII检测

训练详情

训练数据

模型在包含以下PII实体类型标注示例的自定义数据集上微调：

• 姓名
• 社保号码
• 电话号码
• 信用卡号
• 银行账号
• 银行路由号码
• 地址

训练周期日志

SeqEval分类报告

摘要

• 微平均: 0.95
• 宏平均: 0.95
• 加权平均: 0.95

评估

测试数据

评估在相同标注数据集的保留部分上进行。

指标

• 精确率
• 召回率
• F1值（通过seqeval计算）
• 按实体分类的详细结果
• 标记级准确率

结果

• 大多数标签的F1值持续高于0.95，显示PII检测的稳健性。

建议

• 在高风险环境中使用人工审核。
• 部署前在您自己的领域特定数据上进行评估。

如何开始使用该模型

from transformers import AutoTokenizer, AutoModelForTokenClassification  
from transformers import pipeline  

model_name = "AI-Enthusiast11/pii-entity-extractor"  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForTokenClassification.from_pretrained(model_name)  

# 后处理逻辑以合并子词标记  
def merge_tokens(ner_results):  
    entities = {}  
    for entity in ner_results:  
        entity_type = entity["entity_group"]  
        entity_value = entity["word"].replace("##", "")  # 移除子词前缀  

        # 处理标记合并  
        if entity_type not in entities:  
            entities[entity_type] = []  
        if entities[entity_type] and not entity_value.startswith(" "):  
            # 如果前一个标记存在且当前标记不是新词，则合并  
            entities[entity_type][-1] += entity_value  
        else:  
            entities[entity_type].append(entity_value)  

    return entities  

def redact_text_with_labels(text):  
    ner_results = nlp(text)  

    # 合并多标记实体（如果有）  
    cleaned_entities = merge_tokens(ner_results)  

    redacted_text = text  
    for entity_type, values in cleaned_entities.items():  
        for value in values:  
            # 用标签替换每个识别的实体  
            redacted_text = redacted_text.replace(value, f"[{entity_type}]")  

    return redacted_text  

# 加载管道  
nlp = pipeline("ner", model=model_name, tokenizer=tokenizer, aggregation_strategy="simple")  

# 示例输入（从您的示例中选择一个）  
example = "嗨，我是Mia Thompson。我最近注意到我的电费账单在上周付款后仍未更新。我使用了账号4893172051，关联的路由号码是192847561。我的服务几乎被暂停，如果您能核实付款情况，我将不胜感激。如需更多信息，请致电727-814-3902联系我。"  

# 运行管道并处理结果  
ner_results = nlp(example)  
cleaned_entities = merge_tokens(ner_results)  

# 打印NER结果  
print("\n==NER结果:==\n")  
for entity_type, values in cleaned_entities.items():  
    print(f"  {entity_type}: {', '.join(values)}")  

# 用标签替换示例中的敏感信息  
redacted_example = redact_text_with_labels(example)  

# 打印替换后的结果  
print(f"\n==替换后的示例:==\n{redacted_example}")