语言：中文 标签：

• 字形增强型BERT 推理：否

https://github.com/JunnYu/ChineseBert_pytorch

ChineseBert_pytorch项目

本项目核心在于自定义了tokenization_chinesebert_fast.py文件中的ChineseBertTokenizerFast类，使其支持从huggingface.co平台直接调用。

预训练分词器名称 = "junnyu/ChineseBERT-large"
分词器 = ChineseBertTokenizerFast.from_pretrained(预训练分词器名称)

论文

ChineseBERT：融合字形与拼音信息的中文预训练模型
孙梓钧、李晓娅、孙晓飞、孟宇轩、敖翔、何清、吴飞、李纪为

安装

pip install chinesebert
或
pip install git+https://github.com/JunnYu/ChineseBert_pytorch.git

使用示例

import torch
from chinesebert import ChineseBertForMaskedLM, ChineseBertTokenizerFast, ChineseBertConfig
预训练模型名称 = "junnyu/ChineseBERT-large"
分词器 = ChineseBertTokenizerFast.from_pretrained(预训练模型名称)
中文BERT模型 = ChineseBertForMaskedLM.from_pretrained(预训练模型名称)

文本 = "北京是[MASK]国的首都。"
输入数据 = 分词器(文本, return_tensors="pt")
print(输入数据)
掩码位置 = 4

with torch.no_grad():
    输出 = 中文BERT模型(**输入数据)
    概率值, 索引 = 输出.logits.softmax(-1)[0, 掩码位置].topk(10)

预测词元 = 分词器.convert_ids_to_tokens(索引.tolist())
预测概率 = 概率值.tolist()

结果列表 = []
for 词, 概率 in zip(预测词元, 预测概率):
    结果列表.append(f"{词}|{round(概率,4)}")
print(结果列表)

# base版结果  ['中|0.711', '我|0.2488', '祖|0.016', '法|0.0057', '美|0.0048', '全|0.0042', '韩|0.0015', '英|0.0011', '两|0.0008', '王|0.0006']
# large版结果 ['中|0.8341', '我|0.1479', '祖|0.0157', '全|0.0007', '国|0.0005', '帝|0.0001', '该|0.0001', '法|0.0001', '一|0.0001', '咱|0.0001']

参考文献

https://github.com/ShannonAI/ChineseBert