P

Pko T5 Base

由 paust 开发
pko-t5是专为韩语优化的T5模型,采用纯韩语数据训练而成,使用BBPE分词技术解决韩语分词问题。
下载量 874
发布时间 : 5/16/2022

模型简介

pko-t5是基于T5 v1.1架构的韩语优化模型,通过无监督学习在韩语语料上训练,适用于多种韩语NLP任务。

模型特点

韩语优化
专门针对韩语设计和优化,使用纯韩语数据进行训练。
BBPE分词
采用BBPE(无OOV问题)替代sentencepiece进行韩语分词,提高分词效果。
多任务支持
支持多种NLP任务,包括文本生成、分类、问答等。

模型能力

文本生成
文本分类
问答系统
命名实体识别
语义相似度计算

使用案例

自然语言处理
韩语问答系统
构建韩语问答系统,回答用户提出的问题。
在KLUE基准测试中表现良好
文本分类
对韩语文本进行分类,如新闻分类、情感分析等。
在YNAT任务中达到87.29宏F1
AIbase
智启未来,您的人工智能解决方案智库
简体中文