语言:

• "日语" 标签:
• "日语"
• "掩码语言模型"
• "维基百科" 基础模型: tohoku-nlp/bert-large-japanese-char 许可证: "cc-by-sa-4.0" 管道标签: "填充掩码" 掩码标记: "[MASK]" 小部件示例:
• 文本: "酸素ボンベを充[MASK]する。"

bert-large-japanese-char-extended

模型描述

这是一个基于日语维基百科文本预训练的BERT模型，源自bert-large-japanese-char。通过使用BertTokenizerFast，字符嵌入功能已增强至包含所有常用汉字/人名用汉字字符。您可以对bert-large-japanese-char-extended进行下游任务微调，例如词性标注、依存句法分析等。

使用方法

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/bert-large-japanese-char-extended")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/bert-large-japanese-char-extended")