Mdeberta V3 Base Finetuned Ai4privacy V2

由 Isotonic 开发

基于microsoft/mdeberta-v3-base微调的PII(个人身份信息)识别与掩码模型，支持多语言隐私数据处理

序列标注

Transformers

支持多种语言

#PII识别 #多语言隐私保护 #高精度实体识别

下载量 380

发布时间 : 1/13/2024

模型介绍

内容详情

替代品

模型简介

该模型是专门用于识别和掩码文本中的个人身份信息(PII)的令牌分类模型，在英语、德语、法语和意大利语等多语言环境下表现优异。

模型特点

多语言支持

支持英语、德语、法语和意大利语等多种语言的PII识别

高精度识别

在评估集上达到96.83%的F1分数和98.96%的准确率

广泛的PII类别覆盖

可识别超过50种不同类型的个人身份信息，包括姓名、地址、电话号码、金融信息等

灵活的许可模式

提供免费许可和企业许可两种模式，适应不同规模组织的需求

模型能力

文本中的PII识别

多语言文本处理

敏感信息检测

隐私数据掩码

使用案例

数据隐私保护

日志数据脱敏

自动识别并掩码日志文件中的敏感信息

有效降低数据泄露风险

用户数据匿名化

处理用户提交的表单数据，移除或替换PII

符合GDPR等隐私法规要求

金融合规

金融交易记录处理

识别交易记录中的账户信息、信用卡号等敏感数据

满足金融行业合规要求

基础模型: microsoft/mdeberta-v3-base 模型索引:

名称: mdeberta-v3-base_finetuned_ai4privacy_v2 结果: [] 数据集:
ai4privacy/pii-masking-200k
Isotonic/pii-masking-200k 语言:
英语
德语
法语
意大利语评估指标:
准确率
F1分数
精确率
召回率库名称: transformers 管道标签: 令牌分类许可证: cc-by-nc-4.0

🌟 请我喝咖啡是直接支持本项目的方式。

mdeberta-v3-base_finetuned_ai4privacy_v2

此模型是基于microsoft/mdeberta-v3-base在ai4privacy/pii-masking-200k数据集上微调的版本。在评估集上取得了以下结果：

损失: 0.0323
总体精确率: 0.9636
总体召回率: 0.9731
总体F1分数: 0.9683
总体准确率: 0.9896

使用方法

GitHub实现: Ai4Privacy

模型描述

需要更多信息

预期用途与限制

许可证取决于您的业务性质，您有权在项目中使用Ai4Privacy。独立用户和小型企业（最多3名员工）可以免费在其产品和解决方案中使用Ai4Privacy的数据集和模型，并有条件地用于商业条款。然而，较大规模的营利性组织需要公司许可证，可通过licensing@ai4privacy.com申请。这种两级系统有助于资助我们的项目，同时保持源代码对大多数用户的可访问性和软件的免费性。具体使用条件，请阅读以下详细条款。

免费许可证
企业许可证

免费许可证

资格标准

如果您符合以下条件，可以免费使用Ai4Privacy：

个人员工不超过3人的营利实体非营利或非营利组织

禁止使用案例

不允许复制或修改Ai4Privacy的代码以分发、销售、出租、许可、再许可或分许可您自己的Ai4Privacy贡献作品的衍生版本。

免责声明

数据集和代码“按原样”提供，不提供任何明示或暗示的保证，包括但不限于适销性、特定用途适用性和非侵权性的保证。作者或版权持有人不对任何索赔、损害或其他责任负责，无论是在合同、侵权或其他方面，因数据集和模型或其使用或其他交易引起的。

支持

我们尽力通过GitHub Issues和Discord提供支持。企业许可证持有者可获得专属支持。

企业许可证

如果您的实体不符合免费许可证的资格，您必须购买企业许可证才能使用Ai4Privacy。此许可证将授权您使用Ai4Privacy用于免费许可证中概述的用途，并为您提供优先支持。

有关定价和许可的详细信息，请参阅licensing@ai4privacy.com。

训练过程

训练超参数

训练期间使用了以下超参数：

学习率: 5e-05
训练批次大小: 32
评估批次大小: 32
随机种子: 42
优化器: Adam，beta=(0.9,0.999)，epsilon=1e-06
学习率调度器类型: cosine_with_restarts
学习率调度器预热比例: 0.2
训练轮数: 5

训练结果

训练损失	轮次	步数	验证损失	总体精确率	总体召回率	总体F1	总体准确率	账户名F1	账号F1	年龄F1	金额F1	Bic F1	比特币地址F1	建筑编号F1	城市F1	公司名F1	县F1	信用卡CVV F1	信用卡发行方F1	信用卡号F1	货币F1	货币代码F1	货币名称F1	货币符号F1	日期F1	出生日期F1	电子邮件F1	以太坊地址F1	眼睛颜色F1	名字F1	性别F1	身高F1	Iban F1	IP F1	IPv4 F1	IPv6 F1	工作领域F1	职位F1	工作类型F1	姓氏F1	莱特币地址F1	Mac F1	掩码号码F1	中间名F1	附近GPS坐标F1	序数方向F1	密码F1	手机IMEI F1	电话号码F1	密码F1	前缀F1	次要地址F1	性别F1	SSN F1	州F1	街道F1	时间F1	URL F1	用户代理F1	用户名F1	车辆VIN F1	车辆VRM F1	邮编F1
0.0622	1.0	10463	0.0541	0.9247	0.9384	0.9315	0.9770	0.9949	0.9917	0.9812	0.9224	0.9847	0.9592	0.9056	0.9595	0.9802	0.9775	0.9350	0.9971	0.8939	0.7380	0.9664	0.0843	0.9721	0.7784	0.6363	0.9993	0.9877	0.9833	0.9696	0.9866	0.9716	0.9914	0.0	0.8238	0.8025	0.9882	0.9874	0.9878	0.8820	0.9085	0.9869	0.8831	0.8686	0.9984	0.9958	0.9786	0.9971	0.9885	0.9482	0.9455	0.9934	0.9956	0.9860	0.9673	0.9799	0.9916	0.9958	0.9995	0.9875	0.9555	0.9819	0.9311
0.0492	2.0	20926	0.0445	0.9376	0.9494	0.9434	0.9788	0.9970	0.9979	0.9883	0.9492	0.9949	0.9626	0.9548	0.9819	0.9911	0.9922	0.9740	0.9985	0.9057	0.5805	0.9771	0.4872	0.9734	0.8257	0.7479	0.9989	0.9944	0.9960	0.9819	0.9933	0.9958	0.9962	0.1521	0.7969	0.8083	0.9957	0.9972	0.9970	0.9335	0.8953	0.9967	0.8786	0.9232	1.0	0.9980	0.9868	0.9985	0.9967	0.9808	0.9708	0.9969	0.9979	0.9980	0.9921	0.9913	0.9979	1.0	1.0	0.9914	0.9788	0.9859	0.9622
0.0392	3.0	31389	0.0395	0.9458	0.9584	0.9521	0.9815	0.9988	0.9971	0.9861	0.9573	0.9955	0.9764	0.9518	0.9836	0.9914	0.9921	0.9802	0.9985	0.9300	0.8115	0.9862	0.5935	0.9821	0.8684	0.7870	0.9994	0.9972	0.9976	0.9860	0.9956	0.9981	0.9964	0.3002	0.8302	0.7274	0.9863	0.9968	0.9979	0.9528	0.9208	0.9881	0.9195	0.9269	0.9992	0.9980	0.9894	0.9998	0.9984	0.9750	0.9767	0.9971	0.9972	0.9978	0.9927	0.9952	0.9966	1.0	0.9997	0.9962	0.9942	0.9937	0.9653
0.0311	4.0	41852	0.0341	0.9537	0.9667	0.9601	0.9855	0.9998	0.9986	0.9869	0.9545	0.9961	0.9774	0.9632	0.9885	0.9952	0.9940	0.9838	0.9985	0.9392	0.8567	0.9863	0.7015	0.9853	0.9158	0.8687	1.0	0.9979	0.9984	0.9875	0.9971	1.0	0.9962	0.4882	0.8664	0.6966	0.9927	0.9973	0.9967	0.9583	0.9251	0.9979	0.9275	0.9351	1.0	0.9988	0.9932	0.9998	0.9980	0.9852	0.9760	0.9983	0.9980	0.9985	0.9932	0.9952	0.9966	0.9996	1.0	0.9969	0.9955	0.9942	0.9685
0.0196	5.0	52315	0.0323	0.9636	0.9731	0.9683	0.9896	0.9998	0.9973	0.9878	0.9495	0.9932	0.9704	0.9648	0.9887	0.9942	0.9940	0.9820	0.9985	0.9570	0.8750	0.9888	0.7416	0.9819	0.9295	0.8946	0.9998	0.9965	0.9984	0.9886	0.9962	1.0	0.9966	0.6284	0.8884	0.8015	0.9940	0.9973	0.9970	0.9653	0.9109	0.9992	0.9524	0.9347	1.0	0.9984	0.9936	0.9998	0.9992	0.9857	0.9801	0.9988	0.9979	0.9983	0.9944	0.9953	0.9974	1.0	1.0	0.9966	0.9936	0.9917	0.9727