Bart Ko Base

由 cosmoquester 开发

基于多源韩语数据集预训练的BART模型，适用于多种韩语自然语言处理任务

韩语

下载量 50

发布时间 : 3/2/2022

模型介绍

内容详情

替代品

模型简介

该模型整合了多种韩语数据集进行预训练，提升了在口语和书面语文本上的泛化能力，支持文本生成、文本补全等任务

多源数据训练

整合了韩国国立国语院语料库、AIhub平台和世宗语料库等多种韩语数据集进行训练

口语书面语兼顾

通过包含口语对话和书面文本的多样化训练数据，提升了模型在不同语体上的表现

TPU训练优化

由Google TPU研究云计划提供算力支持，训练效率高

文本生成

文本补全

自然语言推理

文本分类

语义相似度计算

仇恨言论检测

文本生成

对话生成

生成自然流畅的韩语对话

可用于聊天机器人等应用

文本理解

情感分析

分析韩语文本的情感倾向

在NSMC测试集上达到88.77%准确率

语义相似度计算

计算两段韩语文本的语义相似度

在KLUE语义相似度开发集上F1值76.54%

内容审核

仇恨言论检测

识别韩语文本中的仇恨言论和偏见内容

偏见识别准确率82.80%，仇恨言论准确率56.69%