语言:

• 中文 许可证: apache-2.0 示例输入:
• 文本: "生活的真谛是[MASK]。"

孟子-BERT基础模型（中文版）

基于300G中文语料预训练的模型。采用掩码语言建模(MLM)、词性标注(POS)和句子顺序预测(SOP)作为训练任务。

孟子：一个轻量级却强大的中文预训练语言模型

使用方法

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("Langboat/mengzi-bert-base")
model = BertModel.from_pretrained("Langboat/mengzi-bert-base")

九项中文任务得分（未使用任何数据增强）

RoBERTa-wwm-ext得分来自CLUE基准线

引用

如果您认为本技术报告或资源对您有所帮助，请在论文中引用以下技术报告。

@misc{zhang2021mengzi,
      title={孟子：面向轻量级却精巧的中文预训练模型}, 
      author={张卓胜、张汉卿、陈克明、郭宇航、华静云、王玉龙、周明},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}