language:

• zh thumbnail: https://ckip.iis.sinica.edu.tw/files/ckip_logo.png tags:
• pytorch
• token-classification
• bert
• zh license: gpl-3.0

CKIP BERT 基础版 汉语词性标注模型

本模型提供针对古代汉语的词性标注功能。我们的训练数据集涵盖汉语发展的四个历史时期。

主页

• ckiplab/han-transformers

训练数据集

数据集版权归属于中央研究院语言学研究所。

• 中央研究院上古汉语标记语料库
• 中央研究院中古汉语语料库
• 中央研究院近代汉语语料库
• 中央研究院现代汉语语料库

贡献者

• 林金侗 来自中文词知识库小组

使用方法

• 在脚本中调用模型

  from transformers import (
    AutoTokenizer,
    AutoModel,
  )
  
  tokenizer = AutoTokenizer.from_pretrained("ckiplab/bert-base-han-chinese-pos")
  model = AutoModel.from_pretrained("ckiplab/bert-base-han-chinese-pos")
  

• 使用模型进行推理

  >>> from transformers import pipeline
  >>> classifier = pipeline("token-classification", model="ckiplab/bert-base-han-chinese-pos")
  >>> classifier("帝尧曰放勋")
  
  [{'entity': 'NB1',
    'score': 0.99410427,
    'index': 1,
    'word': '帝',
    'start': 0,
    'end': 1},
   {'entity': 'NB1',
    'score': 0.98874336,
    'index': 2,
    'word': '尧',
    'start': 1,
    'end': 2},
   {'entity': 'VG',
    'score': 0.97059363,
    'index': 3,
    'word': '曰',
    'start': 2,
    'end': 3},
   {'entity': 'NB1',
    'score': 0.9864504,
    'index': 4,
    'word': '放',
    'start': 3,
    'end': 4},
   {'entity': 'NB1',
    'score': 0.9543974,
    'index': 5,
    'word': '勋',
    'start': 4,
    'end': 5}]