语言:

• "ja" 标签:
• "日语"
• "标记分类"
• "词性标注"
• "依存句法分析" 基础模型: KoichiYasuoka/roberta-small-japanese-aozora 数据集:
• "universal_dependencies" 许可证: "cc-by-sa-4.0" 管道标签: "标记分类" 小部件示例:
• 文本: "穿过国境长长的隧道，便是雪国了。"

roberta-small-japanese-luw-upos

模型描述

这是一个基于青空文库文本预训练的RoBERTa模型，用于词性标注和依存句法分析，源自roberta-small-japanese-aozora。每个长单位词均标注了UPOS（通用词性标签）。

使用方法

from transformers import AutoTokenizer,AutoModelForTokenClassification,TokenClassificationPipeline
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/roberta-small-japanese-luw-upos")
model=AutoModelForTokenClassification.from_pretrained("KoichiYasuoka/roberta-small-japanese-luw-upos")
pipeline=TokenClassificationPipeline(tokenizer=tokenizer,model=model,aggregation_strategy="simple")
nlp=lambda x:[(x[t["start"]:t["end"]],t["entity_group"]) for t in pipeline(x)]
print(nlp("穿过国境长长的隧道，便是雪国了。"))

或

import esupar
nlp=esupar.load("KoichiYasuoka/roberta-small-japanese-luw-upos")
print(nlp("穿过国境长长的隧道，便是雪国了。"))

另请参阅

esupar: 集成BERT/RoBERTa/DeBERTa模型的分词器、词性标注器和依存句法分析器