AIbase

B

Bert Base Japanese Char Whole Word Masking

由 tohoku-nlp 开发
基于日语文本预训练的BERT模型，采用字符级分词和全词掩码技术，适用于日语自然语言处理任务。
大型语言模型
日语
#日语字符级BERT#全词掩码训练#维基百科预训练
下载量 1,724
发布时间 : 3/2/2022
模型介绍
内容详情
替代品

模型简介

这是一个基于日语维基百科文本预训练的BERT模型，采用字符级分词和全词掩码技术，适用于各种日语自然语言处理任务，如文本分类、命名实体识别等。

模型特点

字符级分词
文本首先通过MeCab分词器配合IPA词典进行词语切分，随后拆分为字符，提高了对日语复杂文本的处理能力。
全词掩码技术
在MLM任务训练中，当某个词语被选中掩码时，其对应的所有子词token将同时被遮蔽，提升了模型的语言理解能力。
基于维基百科的预训练
训练语料来自2019年9月1日的日语维基百科快照，包含约1700万句，总大小2.6GB。

模型能力

日语文本理解
掩码语言建模
文本分类
命名实体识别
问答系统

使用案例

自然语言处理
日语文本分类
可用于对日语文本进行分类，如新闻分类、情感分析等。
命名实体识别
可用于识别日语文本中的命名实体，如人名、地名、组织名等。