language:

• zh tags:
• bert license: "apache-2.0"

请使用'Bert'相关函数加载本模型！

本仓库包含我们论文**《重新审视中文自然语言处理中的预训练模型》**的资源，该论文将发表于"EMNLP发现"。您可以通过ACL文集或arXiv预印本阅读我们的定稿论文。

重新审视中文自然语言处理中的预训练模型
崔一鸣，车万翔，刘挺，秦兵，王士进，胡国平

您可能还对以下内容感兴趣：

• 中文BERT系列：https://github.com/ymcui/Chinese-BERT-wwm
• 中文ELECTRA：https://github.com/ymcui/Chinese-ELECTRA
• 中文XLNet：https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具包 - TextBrewer：https://github.com/airaria/TextBrewer

更多HFL资源：https://github.com/ymcui/HFL-Anthology

简介

MacBERT是一种改进的BERT模型，采用了新颖的MLM as correction（作为校正的掩码语言模型）预训练任务，缓解了预训练与微调阶段的不一致问题。

不同于使用在微调阶段从未出现的[MASK]标记进行掩码，我们提出使用相似词进行掩码。相似词通过同义词工具包（Wang and Hu, 2017）获取，该工具基于word2vec（Mikolov et al., 2013）的相似度计算。若选择掩码一个N-gram，我们会逐个寻找相似词。在极少数找不到相似词的情况下，我们会降级使用随机词替换。

以下是我们预训练任务的一个示例：

除新预训练任务外，我们还整合了以下技术：

• 全词掩码（WWM）
• N-gram掩码
• 句子顺序预测（SOP）

请注意，MacBERT可直接替换原始BERT，因为其主要神经架构没有差异。

更多技术细节请参阅论文：重新审视中文自然语言处理中的预训练模型

引用

如果您认为我们的资源或论文有帮助，请在您的论文中加入以下引用：

• https://arxiv.org/abs/2004.13922

@inproceedings{cui-etal-2020-revisiting,
    title = "重新审视中文自然语言处理中的预训练模型",
    author = "崔一鸣 and 车万翔 and 刘挺 and 秦兵 and 王士进 and 胡国平",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings",
    month = "11月",
    year = "2020",
    address = "线上",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.findings-emnlp.58",
    pages = "657--668",
}