R

Roberta Base Japanese Aozora

由 KoichiYasuoka 开发
基于青空文库文本预训练的日语RoBERTa模型,支持掩码语言建模任务
下载量 17
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

这是一个基于日本青空文库文本、采用Japanese-LUW-Tokenizer进行预训练的RoBERTa模型,适用于日语文本处理任务,如词性标注和依存句法分析。

模型特点

青空文库预训练
使用日本青空文库的经典文学作品进行预训练,适合处理正式日语文本
专用日语分词器
采用Japanese-LUW-Tokenizer进行分词,针对日语特点优化
下游任务适配性
可微调用于词性标注、依存句法分析等多种日语NLP任务

模型能力

日语文本理解
掩码语言建模
词性标注
依存句法分析

使用案例

自然语言处理
日语文本补全
预测句子中被掩码的词语
示例:'日本に着いたら[MASK]を訪ねなさい。'可预测出合适的地点名词
语法分析
用于日语词性标注和依存关系分析
已有基于此模型的词性标注和依存分析微调版本