许可证：afl-3.0
语言：

• 中文
  标签：
• bert
• chinesebert
• MLM
  管道标签：填充掩码

ChineseBERT-base

本项目对ChineseBERT进行了优化处理，用户可直接通过HuggingFace API调用，无需额外编写配置代码。

原论文地址：
ChineseBERT：融合字形与拼音信息的中文预训练模型
作者：孙梓钧、李夏雅、孙晓飞、孟宇轩、敖翔、贺庆、吴飞、李纪为

原项目地址：
ChineseBERT GitHub链接

原模型地址：
ShannonAI/ChineseBERT-base（该模型无法直接通过HuggingFace API调用）

本项目使用指南

1. 安装pypinyin

pip install pypinyin  

2. 使用AutoClass加载分词器和模型

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ChineseBERT-base", trust_remote_code=True)  
model = AutoModel.from_pretrained("iioSnail/ChineseBERT-base", trust_remote_code=True)  

3. 后续使用方式与标准BERT一致

inputs = tokenizer(["我 喜 [MASK] 猫"], return_tensors='pt')  
logits = model(**inputs).logits  

print(tokenizer.decode(logits.argmax(-1)[0, 1:-1]))  

输出示例：

tokenizer.decode(logits.argmax(-1)[0, 1:-1])  

获取隐藏状态的方法：model.bert(**inputs).last_hidden_state

常见问题

1. 网络问题（如：Connection Error）

解决方案：将模型下载至本地使用。批量下载方法可参考这篇博客

2. 本地加载模型时报错：ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ChineseBERT-base'

解决方案：将路径中的斜杠改为反斜杠，即 iioSnail/ChineseBERT-base 改为 iioSnail\ChineseBERT-base