language:

• zh tags:
• bert license: "apache-2.0"

请使用'Bert'相关函数加载本模型！

本仓库包含我们论文**《重新审视中文自然语言处理中的预训练模型》**的相关资源，该论文将发表于"EMNLP会议发现"。您可通过ACL文献集或arXiv预印本阅读我们的定稿论文。

重新审视中文自然语言处理中的预训练模型
崔一鸣，车万翔，刘挺，秦兵，王士进，胡国平

您可能还对以下项目感兴趣：

• 中文BERT系列：https://github.com/ymcui/Chinese-BERT-wwm
• 中文ELECTRA：https://github.com/ymcui/Chinese-ELECTRA
• 中文XLNet：https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具包TextBrewer：https://github.com/airaria/TextBrewer

哈工大讯飞联合实验室更多资源：https://github.com/ymcui/HFL-Anthology

模型介绍

MacBERT是通过新型MLMascorrection（作为纠错的掩码语言模型）预训练任务改进的BERT模型，缓解了预训练与微调阶段的差异问题。

不同于使用微调阶段从未出现的[MASK]标记进行掩码，我们提出使用相似词进行掩码。相似词通过同义词工具包（Wang and Hu, 2017）获取，该工具基于word2vec（Mikolov et al., 2013）相似度计算。当选择掩码N-gram时，我们会逐个寻找相似词。在极少数没有相似词的情况下，会降级使用随机词替换。

以下是我们预训练任务的示例：

除新预训练任务外，我们还整合了以下技术：

• 全词掩码（WWM）
• N-gram掩码
• 句子顺序预测（SOP）

请注意MacBERT可直接替换原始BERT，因为主要神经网络架构没有差异。

更多技术细节请参阅论文：《重新审视中文自然语言处理中的预训练模型》

引用

如果我们的资源或论文对您有帮助，请在您的论文中加入以下引用：

• https://arxiv.org/abs/2004.13922

@inproceedings{cui-etal-2020-revisiting,
    title = "重新审视中文自然语言处理中的预训练模型",
    author = "崔一鸣 and 车万翔 and 刘挺 and 秦兵 and 王士进 and 胡国平",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings",
    month = "11月",
    year = "2020",
    address = "线上会议",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2020.findings-emnlp.58",
    pages = "657--668",
}