Soongsilbert Base Beep

由 jason9693 开发

KoELECTRA是一个基于ELECTRA架构的韩语预训练语言模型，针对韩语自然语言处理任务进行了优化。

韩语

下载量 23

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

KoELECTRA是专门为韩语设计的预训练语言模型，基于ELECTRA架构，适用于多种韩语NLP任务，如文本分类、命名实体识别、问答系统等。

高性能韩语处理

在多种韩语NLP任务上表现优异，特别是在NSMC文本分类任务上达到90.63%的准确率。

ELECTRA架构优势

采用ELECTRA架构，相比传统BERT模型训练效率更高，性能更好。

多任务支持

支持多种韩语NLP任务，包括文本分类、命名实体识别、问答系统等。

韩语文本分类

韩语命名实体识别

韩语问答系统

韩语自然语言推理

韩语语义文本相似度计算

韩语问句匹配

韩语仇恨言论检测

文本分析

电影评论情感分析

使用NSMC数据集进行电影评论的情感分类

准确率达到90.63%

信息提取

命名实体识别

从韩语文本中识别命名实体

F1值达到88.11%

问答系统

韩语问答

回答韩语问题

精确匹配84.83%，F1值93.45%

	参数量	NSMC (准确率)	Naver命名实体识别 (F1值)	PAWS (准确率)	韩语NLI (准确率)	韩语STS (斯皮尔曼系数)	问句匹配 (准确率)	韩语问答(开发集) (精确匹配/F1)	韩语仇恨言论(开发集) (F1值)
KoBERT	351M	89.59	87.92	81.25	79.62	81.59	94.85	51.75 / 79.15	66.21
XLM-Roberta基础版	1.03G	89.03	86.65	82.80	80.23	78.45	93.80	64.70 / 88.94	64.06
HanBERT	614M	90.06	87.70	82.95	80.32	82.73	94.72	78.74 / 92.02	68.32
KoELECTRA基础版v3	431M	90.63	88.11	84.45	82.24	85.53	95.25	84.83 / 93.45	67.61
松实BERT	370M	91.2	-	-	-	76	94	-	69

	参数量	NSMC (准确率)	Naver命名实体识别 (F1值)	PAWS (准确率)	韩语NLI (准确率)	韩语STS (斯皮尔曼系数)	问句匹配 (准确率)	韩语问答(开发集) (精确匹配/F1)	韩语仇恨言论(开发集) (F1值)
DistilKoBERT	108M	88.60	84.65	60.50	72.00	72.59	92.48	54.40 / 77.97	60.72
KoELECTRA轻量版v3	54M	89.36	85.40	77.45	78.60	80.79	94.85	82.11 / 91.13	63.07
松实BERT	213M	90.7	84	69.1	76	-	92	-	66